구글 리서치, LLM이 잠으로 지식을 굳히는 Sleep 프레임워크 공개
- 구글이 배포된 LLM에 wake(활성)와 sleep(수면)을 번갈아 돌리는 continual learning 프레임워크를 제안함. sleep 단계에서 단기 문맥을 장기 파라미터로 통합해 최대 10M 토큰 장문 지식 유지와 복잡한 추론 개선을 주장함
- sleep은 메모리 통합과 드리밍 두 단계로 나뉨. 새로 해동한 저랭크 MoE 전문가를 저빈도 메모리 블록에 넣어 기존 파라미터를 건드리지 않고 새 지식을 저장함
- 단기 기억을 장기 파라미터로 옮기는 지식 시딩은 GKD와 RL 기반 모방 학습으로 수행함. student가 자기 샘플링 시퀀스의 teacher 분포에서 토큰별 피드백을 받고, Levenshtein 거리로 계산한 의미·절대 유사도를 보상으로 접두부 완성을 학습함
- 통합이 끝나면 고빈도 임시 파라미터를 리셋하는 시냅스 프루닝을 적용해 다음 활성 세션에 쓸 용량을 확보함. 모델 아키텍처와 코드베이스는 그대로 두고 가중치만 갱신함
- 해커뉴스 댓글에서는 실험이 Llama 3B, 8B 같은 소형 모델에서만 돌았다는 점과 RLHF 대조군 부재가 한계로 지적됨. 프리프린트에 오타가 남아 있는 점도 화제가 됨
Hacker News opinions
탄소 발표 때보다 훨씬 잘 쓴 글임. 아키텍처에 안 쓰는 파라미터를 미리 넣어두고 sleep 때 채운 다음 dream으로 강화하는 거 아님? 그럼 구글처럼 풀스택 갖춘 곳만 할 수 있는 해법 같은데.
비슷하지만 좀 다름. 상호작용하면서 단기 기억이 버퍼에 쌓이고, sleep 때 점수를 매겨 쓸모 있는 것만 가중치에 통합함. 통째로 밀어넣는 게 아니라 의미 지식만 변환해서 더한다는 게 신기함.
KV 캐시 기반이라는 게 낯섦. 우리 팀은 Dreamtime이라는 걸 만들었는데 토큰 레이어가 아니라 사용자가 '이건 아님'이라고 지적한 데서 학습을 뽑았음. 문맥 쌓고 불일치 잡고 압축하는 톱니파 방식인데, 감사 요건 때문에 '언제 누가 바꿨나'를 원본 세션 계보로 답해야 하는 게 진짜 문제임.
참고문헌 [2]가 빠졌는데.
AGI로 가는 빠진 조각 중 하나 같음. 정리 단계에 비판적 사고만 넣으면 거의 다 온 셈임.
DreamCoder 논문이 떠오름.
논문 원문은 arxiv 2606.03979에 있음.
관심 없음. 구글 검색이나 고치고 경제 망치는 LLM 그만 좀.
이거 진짜 작동하긴 함?
실험이 Llama 3B, 8B 같은 작은 모델에서 돌았음. 수조 파라미터 모델은 가중치를 움직이려면 토큰을 훨씬 많이 돌려야 할 텐데, 애초에 성능이 별로인 모델이라 개선이 쉬웠을 수도 있음. RLHF 대조군도 궁금하고.
프리프린트라 그런지 오타가 눈에 띔. 'We attributes this results to' 같은 문장이 LLM 시대에 나오는 게 오히려 사람이 썼다는 증거 같아서 반갑긴 한데, 예전보다 훨씬 자주 보임.
요즘 오타는 일부러 AI가 아니라는 걸 보여주려고 넣는 것 같기도 함.
파라미터 확장으로 용량을 확보한다는 게 결국 한계 요인 같음. 효율에 달려 있음.