언어모델이 자기 추론으로 가중치를 고친다는 arXiv 논문, 원문 없이 HN 댓글로 정리
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- 댓글이 인용한 원문에 따르면 모델이 자기 가중치 재작성으로 그래디언트나 추가 학습 없이 나아지며, 연속 8회 세션에서 정확도가 계속 올랐다고 함
- 댓글에 따르면 모델은 연습 문제로 수정안을 테스트하고 통과한 것만 제출하며, 각 수정이 직전 수정보다 나아짐
- 댓글 보고에 따르면 논문에서 모델이 실제로 한 수정은 추론 궤적 길이를 줄여 토큰 한도에 걸리지 않게 한 것 하나뿐임
- 한 댓글은 원문에 alignment라는 단어가 한 번도 나오지 않는다고 지적하고, 저자 홈페이지에서도 관련 논문을 찾지 못했다고 밝힘
Hacker News 의견들
논문에 alignment가 한 번도 안 나온다는 게 제일 걸림. 저자 홈페이지 가봐도 관련 논문이 없더라.
기본 모델이 정렬돼 있고 가중치 수정에 가드레일이 있으면 그나마 괜찮을 수도 있음. 근데 이건 닫힌 모델에서나 통할 얘기고, 오픈 모델을 abliterate해서 이걸 돌리면 진짜 위험할 듯.
테스트 자료가 그냥 환경이랑 주고받은 상호작용이면 학습이랑 뭐가 다름? 어차피 학습 아님?
논문 보니까 모델이 실제로 고친 건 추론 길이 줄인 거 하나뿐이더라. 토큰 한도 안 걸리게 한 것.
그건 다른 논문임. 그 weight-space programming 글은 Astra가 가중치 직접 보고 고치는 얘기고, 스펙만 주면 새 가중치도 써낸다고 함.
부록 E5 보면 오류 난 예시들이랑 정상 예시의 상태 차이 방향으로 가중치를 밀어주는 방식임. 그래디언트 없이 근사하는 거라 꽤 영리함. 사람이 같은 제약에서 해도 비슷하게 할 듯.
구글 sleep 논문이랑 비교하는 댓글도 있는데, 나는 이건 그보다 가중치 조정이 한 단계 더 나간 거라고 봄.