많은 분이 LLM이 대화를 아주 잘 기억한다고 생각합니다. 겉으로 보면 과거의 대화 내용을 잊지 않고 이어가는 것처럼 보이니까요. 하지만 이 모델의 기본 상태는 사실 stateless(stateless)입니다.
이는 스스로 과거를 붙잡아 두지 못한다는 뜻입니다. 모델은 지금 이 순간 주어진 입력만 보고 다음 출력을 계산합니다. 이전에 나눈 이야기는 내부에 남아 있지 않죠.
기억력이 없는 모델의 비밀
그렇다면 우리는 왜 모델이 기억한다고 느낄까요? 그것은 우리가 대화 기록을 다시 입력으로 넣어 주기 때문입니다. 과거의 기록을 현재 입력과 함께 묶어서 전달하는 것이죠.
우리가 느끼는 기억의 연속성은 사실 이런 착시 덕분입니다. 그래서 LLM은 본질적으로 기억력이 없는 두뇌와 비슷합니다. 스스로 저장하는 것이 아니라 매번 새로 보여줘야 하니까요.
프로그래머는 이 한계를 넘기 위해 고민했습니다. 그래서 등장한 것이 바로 메모리 모듈이라는 개념입니다. AI 에이전트가 사람처럼 맥락을 유지하려면 무언가 도구가 필요하거든요.
두 가지 메모리의 역할
에이전트는 방금 나눈 이야기와 장기적인 목표를 함께 잡고 있어야 합니다. 그래서 보통 메모리를 두 가지 층위로 나눕니다. 바로 단기 메모리와 장기 메모리입니다.
단기 메모리는 당장 필요한 정보를 담습니다. 현재 수행 중인 작업이나 최근의 대화 내용이 여기에 들어갑니다. 지금의 흐름을 놓치지 않도록 돕는 역할을 하죠.
반면에 장기 메모리는 오랫동안 의미를 가지는 정보를 저장합니다. 사용자의 선호나 과거의 결정 같은 것들이죠. 반복적으로 등장하는 중요한 사실도 이곳에 보관합니다.
이 덕분에 에이전트는 우리가 지금 무엇을 하고 있는지 알 수 있습니다. 또한 이 사용자에게 무엇이 중요한지도 동시에 참고하게 됩니다. 이렇게 두 메모리는 서로 다른 역할을 맡습니다.
정보가 너무 많아도 문제입니다
하지만 기억을 많이 준다고 해서 무조건 똑똑해지는 것은 아닙니다. LLM이 한 번에 처리할 수 있는 정보량에는 분명한 한계가 있습니다. 너무 많은 맥락을 넣으면 부작용이 생기죠.
정보가 넘치면 오히려 중요한 내용이 묻혀 버립니다. 사람도 설명이 너무 길어지면 요점을 놓치는 것과 비슷합니다. 모델 역시 과도한 맥락 속에서 판단력이 흐려질 수 있습니다.
우리는 이것을 정보 과부하 문제라고 부릅니다. 무작정 많은 데이터를 던져 주는 것이 정답은 아닙니다. 양보다는 질과 적절한 타이밍이 더 중요해지는 시점이죠.
필요한 정보만 골라내는 기술
그래서 최근에는 설계를 바라보는 관점이 달라졌습니다. 그저 기억을 추가하는 것이 아니라 어떤 정보를 언제 줄지가 중요해졌습니다. 필요한 형태를 고민하는 것이 진짜 문제가 된 것입니다.
이러한 기술을 **컨텍스트 엔지니어링(context engineering)**이라고 부릅니다. 이것은 현재 목표에 정말 필요한 정보만 선별해 제공하는 기술입니다. 무턱대고 기억을 쌓는 것과는 다릅니다.
예를 들어 장기 메모리 전체를 매번 불러오지 않습니다. 지금 작업과 관련 있는 부분만 요약해서 가져옵니다. 그리고 그것을 단기 메모리로 끌어와서 활용하는 식이죠.
이것은 기억의 양이 성능을 결정하지 않는다는 관점입니다. 오히려 기억을 어떻게 선택하고 압축하느냐가 결과를 좌우합니다. 프로그래머가 세심하게 다루어야 할 부분이 바로 여기입니다.
지능을 결정하는 새로운 기준
LLM 자체는 여전히 상태가 없습니다. 하지만 그 위에 얹힌 설계를 통해 상태를 가진 것처럼 행동하게 만듭니다. 이 과정이 에이전트의 성능을 크게 바꿉니다.
단기 메모리는 현재의 집중을 도와줍니다. 장기 메모리는 일관된 정체성과 방향성을 제공하죠. 그리고 컨텍스트 엔지니어링은 이 둘 사이에서 정보의 밀도를 조절합니다.
이런 조절 덕분에 모델은 가장 좋은 판단을 내릴 수 있습니다. AI 에이전트의 지능은 모델 하나의 성능만으로 결정되지 않습니다. 전체적인 설계 방식이 지능의 품질을 만듭니다.
더 나은 맥락을 향하여
이제 AI 설계는 더 큰 모델을 만드는 문제만이 아닙니다. 더 나은 맥락을 제공하는 방법의 문제로 이동하고 있습니다. 무엇을 기억하게 하고 무엇을 잊게 할지가 중요합니다.
언제 어떤 정보를 상기시킬지 설계하는 것이 곧 실력입니다. 이는 인간이 사고할 때 중요한 것만 붙잡아 생각하는 것과 같습니다. AI가 점점 인간적인 판단을 하게 되는 열쇠이기도 하죠.
프로그래머 여러분도 이 흐름을 잘 지켜봐야 합니다. 모델의 크기보다 맥락의 설계가 더 큰 가치를 만들 수 있습니다. 지능은 데이터를 쌓는 것이 아니라 관리하는 방식에서 나옵니다.
