KV 캐시로 LLM끼리 직접 대화하는 Cache-to-Cache, 텍스트 통신보다 정확도 3.1~5.4% 높고 지연은 2.5배 단축
- 멀티 LLM 시스템에서 텍스트 대신 KV 캐시를 매개로 모델끼리 직접 의미를 주고받는 Cache-to-Cache(C2C) 방식을 제안함
- 소스 모델의 KV 캐시를 신경망으로 투영해 타깃 모델 캐시와 융합하고, 학습 가능한 게이팅이 캐시 통신이 이득인 타깃 레이어를 고름
- 개별 모델보다 평균 정확도 6.4~14.2% 높고, 텍스트 통신 방식보다 3.1~5.4% 높으면서 지연 시간은 평균 2.5배 줄임
- KV 캐시의 의미를 강화하면 캐시 크기를 늘리지 않고도 응답 품질이 오른다는 오라클 실험 결과가 설계 근거임
- ICLR'26에 게재됐고 코드는 github.com/thu-nics/C2C에 공개됨
Hacker News opinions
모델들이 CoT에서 점점 뉴럴리즈(Neuralese)를 쓰게 될 거고, 이제 에이전트끼리도 뉴럴리즈로 대화하겠네. 감시 가능성(monitorability) 관점에서는 전혀 안 좋은 방향임.
뉴럴리즈를 인간이 해석 가능한 형태로 디코딩하는 게 아예 불가능한 건가? 진짜 모르겠어서 묻는 거임.
그건 1년 전 자료임.
몇 달 전에 자연어가 의미 개념을 담기엔 손실이 크니 텍스트 대신 의미 표현을 쓰면 어떻겠냐고 물었었는데, LLM끼리 통신에 쓸 생각은 못 했음. 그때 링크 남겨둔 글도 있음.
멀티모달 모델이 이미지를 읽는 방식이 좀 이상함. 이미지 임베딩을 만들고 그걸 해석하도록 학습하는데, 텍스트가 손실이듯 임베딩도 손실일 텐데 왜 임베딩 없이 이미지를 직접 해석하도록 학습하지 않나.
임베딩이나 특징 추출을 아예 배제하면 이미지를 해석한다는 게 실제로 뭘 뜻하는 건지 모르겠음.
2025년 논문인데 AI 년도로는 10년 전이고, 아직 프로덕션 모델에서 이걸 본 적이 없음. 여러 모델이 서로의 캐시 표현을 쓸 수 있다면 KV 캐시가 어느 정도 호환된다는 뜻이니, KV가 정렬된 모델 패밀리를 만들어 비싼 추론 모델이 계획하고 작은 모델에 단순 하위 목표를 위임하는 구조도 가능할 듯. 프리필 재계산도, 핸드오버 지연도 없어짐.
Universal Weight Subspace Hypothesis 논문을 보면 비슷한 방향이라 재밌을 거임.
Ramp의 Latent Briefing이랑 꽤 비슷한 접근 같음.
텍스트를 거치면 의미 정보가 날아가고 토큰 하나씩 생성하느라 지연도 붙는데, 캐시를 직접 넘기면 그 두 문제가 같이 사라짐. 다만 모델마다 캐시 공간이 얼마나 맞아떨어지는지가 관건임.