에이전트 문맥을 저장소가 아닌 생명주기로 관리하자는 ACM 논문, 자체 구현체 Synap 평가 공개

에이전트는 기억 엔지니어링부터 잡고 시스템 전체로 넓힌 뒤 비용을 줄이는 순서가 맞다고 봄. 그래야 에이전트 성능을 제대로 끌어낼 수 있었음.

ACM이라는 이름이 내가 찾던 개념이었음. 대부분의 LLM 문제는 필요한 지식을 문맥 창에 넣되 과적재하지 않는 문제인데, 검증 압축과 예측적 가져오기가 유망해 보임. 문서에도 되는지, 대규모 데이터셋에서 RAG보다 나은지, 온프레미스는 어떤지 궁금함.

문서, 에이전트 대화, Slack이나 JIRA 같은 사람 대화에도 적용됨. 일반 RAG는 재현율이 50-60% 수준이고 지연도 수 초라서, 재현율을 맞추려면 문맥을 마구 넣게 되는 경우가 많았음. 온프레미스는 큰 연간 계약 고객에게만 제공함.

재시도할 때 문맥이 조금씩 달라지는 문제가 제일 성가셨음. 우리 쪽은 도구 페이로드 스키마를 먼저 고정한 뒤에야 해결됐음.

기억 자체보다 문맥 오염과 문맥 부패가 더 큰 문제라고 봄. 필요한 사실은 에이전트가 단서를 따라 찾아올 수 있지만, 나쁜 코드 패턴은 이후 작업에서 계속 복사돼 누적되고 정리는 아주 어려움.

코딩 에이전트에서는 특히 다른 형태의 문제임. 기존 코드베이스를 따르는 건 코드가 좋을 때는 유리하지만, 이미 나쁘면 그 나쁨을 증폭시킴. 그래서 변경마다 더 많은 검토와 평가가 필요해 보임.

모델은 자기 과거 출력의 미묘한 흔적과 맞는 방향으로 새 내용을 키우는 자기 편향도 있음. 사람이 나중에 넣은 교정 규칙보다, 예전의 나쁜 패턴을 더 쉽게 이어갈 수 있다고 봄.

글은 읽기 편했지만, '누가 데이터를 가장 많이 저장하느냐의 경쟁이 아니다' 같은 AI 냄새 나는 한 줄 문구도 많음.

이 접근을 실제로 구현한 평가 하니스가 있는지 궁금함.