에이전트가 짧은 대화를 넘어 긴 과업을 수행하려면 꼭 해결해야 할 문제가 있습니다. 바로 기억에 관한 부분이죠. 앞서 이야기했듯 거대언어모델 자체는 상태를 보존하지 않는 특성이 있어요.
시간이 지나면 중요한 정보를 스스로 붙잡아 두지 못합니다. 며칠 전 어떤 결정을 내렸는지 모델 내부에 남아 있지 않죠. 사용자가 무엇을 중요하게 여기는지도 금방 잊어버리게 됩니다.
그래서 장기적인 목표를 가진 에이전트에게는 필수적인 요소가 하나 있어요. 바로 모델 바깥에 존재하는 외부 장기 기억(Long-Term Memory)입니다. 오늘은 이 기억을 어떻게 관리하는지 알아보겠습니다.
무작정 저장하는 방식의 문제점
이 장기 기억은 로그 저장소와는 성격이 조금 다릅니다. 과거 대화를 전부 저장해 두자는 방식은 금세 한계에 부딪히죠. 정보가 너무 많아지면 다시 꺼내 쓰기가 매우 어려워집니다.
무엇이 중요한지 선별하는 문제도 덩달아 커지게 됩니다. 그래서 실제 현장에서는 기억을 검색 가능한 지식 저장소로 설계해요. 필요할 때만 관련 정보를 불러오는 방식을 주로 사용합니다.
이때 프로그래머 사이에서 가장 널리 쓰이는 접근법이 하나 있어요. 바로 검색 증강 생성(RAG)이라는 기술입니다. 이 기술이 어떻게 기억을 돕는지 살펴보겠습니다.
RAG 기술의 기본 원리
RAG는 이름 그대로 검색과 생성을 결합한 형태입니다. 먼저 외부 문서나 기억하고 싶은 정보를 그대로 저장하지 않아요. 대신 의미를 수치로 표현한 임베딩 형태로 변환해 데이터베이스에 보관하죠.
이렇게 하면 문장이 정확히 같지 않아도 괜찮습니다. 의미가 비슷한 정보들을 찾을 수 있기 때문이죠. 에이전트가 질문을 하거나 작업을 수행할 때도 이 원리가 적용됩니다.
그 쿼리 역시 임베딩으로 변환되어 저장소와 유사도 검색을 거치게 돼요. 그리고 결과로 나온 정보들만 골라 모델에 다시 제공합니다.
데이터가 흐르는 과정 이해하기
이 흐름을 정리하면 꽤 명확한 파이프라인이 보입니다. 외부 지식을 임베딩으로 바꾸고 데이터베이스에 저장하죠. 이후 질문이 들어오면 유사도 검색을 통해 필요한 정보만 모델에 건네줍니다.
여기서 중요한 점은 모델이 모든 것을 기억하려 애쓰지 않는다는 겁니다. 필요한 순간에 필요한 정보만 참조한다는 사실이죠. 인간이 단서를 통해 기억을 떠올리는 것과 매우 닮았습니다.
지금 상황과 가장 관련 있는 정보들만 쏙쏙 뽑아 쓰는 셈이에요. 덕분에 모델은 더 가볍고 똑똑하게 움직일 수 있습니다.
거짓 정보를 줄이는 확실한 방법
이 방식이 가진 가장 큰 장점 중 하나는 환각 현상을 줄인다는 점입니다. 모델이 혼자서 그럴듯한 답을 만들어 내는 일을 방지하죠. 대신 실제로 존재하는 외부 문서를 근거로 삼게 됩니다.
에이전트는 내가 알고 있다고 섣불리 가정하지 않아요. 확인해서 답한다는 태도로 행동하게 됩니다. 특히 최신 정보나 사내 문서가 필요한 경우에 아주 유용하죠.
개인 기록처럼 모델이 미리 배우지 못한 지식이 필요할 때도 있습니다. 이때 RAG는 사실상 없어서는 안 될 장치가 됩니다.
긴 프로젝트를 위한 일관성 유지
또 다른 중요한 역할은 정확한 외부 지식 활용에 있습니다. 장기 프로젝트를 수행하는 에이전트는 이전 결정을 기억해야 해요. 누적된 맥락과 반복적으로 등장하는 규칙도 잊지 말아야 하죠.
RAG 기반 장기 기억을 사용하면 이전에 우리가 정한 사실을 다시 불러옵니다. 그리고 그 기록 위에서 일관된 판단을 이어 갈 수 있어요. 단기적인 맥락에만 의존할 때보다 결과가 훨씬 안정적입니다.
신뢰도 또한 크게 끌어올릴 수 있는 방법이죠. 에이전트가 흔들리지 않고 작업을 완수하도록 돕습니다.
지능을 완성하는 기억의 기술
장기 기억은 에이전트를 그때그때 반응하는 존재에서 벗어나게 해 줍니다. 시간을 가로질러 학습하고 경험이 누적되는 존재로 바꾸죠. RAG는 그 기억을 현실적으로 구현해 주는 강력한 도구입니다.
에이전트의 지능은 모델의 크기에서만 나오지 않습니다. 어떤 기억을 어떻게 저장하고 언제 꺼내 쓰는지가 더 중요할 수 있어요. 이 관점이 더 나은 서비스를 만드는 출발점이 됩니다.
