Zero-Mem, LLM 에이전트 메모리 작업에서 LLM 호출을 완전히 없애 시간비용 57.6% 절감

여기서 진짜 중요한 건 제로 토큰 자체가 아니라 생성형 리라이팅을 메모리에서 뺐다는 거임. LLM이 대화를 요약하면 그 요약에서 빠진 부분 때문에 검색이 왜곡되는 문제가 있는데 이걸 원본 트레이스 보존으로 피한 거지.

근데 실제 프로덕션에서 쓰려면 더 빡센 벤치마크가 필요함. 엔티티 속성이 세션마다 바뀌면 그래프랑 시간 계층이 두 상태를 다 보존하고 충돌을 드러낼 수 있는지, 어떤 트레이스가 답을 뒷받침했는지 보여줄 수 있는지 봐야 함.

57.6% 시간 절감은 인상적인데 오래되거나 모순되거나 적대적인 트레이스 상황에서 근거 없는 답변 비율이랑 근거 회수율도 같이 측정해야 함. 인코더 연산이랑 인덱스 유지 비용도 토큰 비용 옆에 놓고 봐야지, 안 그러면 '제로 토큰'이 '공짜'로 오해받을 수 있음.

나도 지금 비슷한 거 만들고 있는데 외부 검색 시스템에 대화를 저장하는 대신 로컬 LLM의 KV 캐시에 대화를 저장하고 그 캐시에서 바로 검색함. prefill 패스 돌리고 attention score 받아서 주목받은 코퍼스 구간만 필터링하는 방식인데 이 논문이 말하는 '제로 토큰'이랑 결이 같음. LoCoMo랑 LongMemEval 둘 다 SOTA 나왔음.

나도 비슷하게 다중 깊이 노드 저장 시스템으로 유저 입출력을 저장해봤는데 정확한 유저 정보를 모델한테 주는 데 초점을 맞췄음. Zero-mem이 피어리뷰 통과하면 내 시스템도 이런 식으로 확장할 수 있을지 봐야겠음.

이거 하네스 레벨에서 구현하는 건 사실 꽤 쉬움. LLM 대화 특성상 NER도 훨씬 단순하게 짜도 됨(프로그래밍이나 장기 실행 작업 같은 경우).