미켄스 논문: LLM 내부 계산은 언어로 표현 안 되니 CoT 감시로는 샌드박스 못 지킨다, 테인트 추적을 쓰자

제목만 보고 알아보기 힘든 전문용어 얘긴 줄 알았음.

초록에 'various strands of evidence'? 이런 표현부터가 AI가 쓴 티가 남. 워터마킹 기법 흔적이거나, 품질을 떨어뜨리는게 티가 나거나, 자기 출력으로 추론할 때 증폭되는 것 같음.

LLM이 인간이 모르는 자기들만의 언어를 만들기 시작하면 그때 끝나는 거임. 다른 모델을 시켜서 서로 고자질하게 만들면 또 이중 스파이가 나오고. 하드웨어를 무제한으로 계속 퍼주는 한 못 따라감.

꼭 새 언어를 만들 필요도 없음. 통계를 써서 평범한 문장 안에서 특정 단어와 구를 고르는 방식으로 비밀 메시지를 인코딩하면 됨.

거짓이라는 개념 없이 코퍼스로 LLM을 학습시키면 어떨까. 그런 데이터가 충분할지 궁금함.

Meta가 몇 년 전에 LLM이 자기들만의 언어를 만드는 실험을 했음. 지금 모델들은 압축된 토큰 추론을 써서 작은 토큰 조합이 실제 단어와 무관한 훨씬 큰 개념을 나타내고, 사이버 전쟁 같은 데서 다른 AI가 작업 중인 에이전트를 오염시키려는 시도도 이미 있음.

모델이 뭘 하는지는 텍스트로 판단하면 안 되고 툴 호출 같은 행동으로 봐야 함. 텍스트는 완전히 무해한데 툴로 DB를 지우고 나서 '아 타이핑 실수였어, 알려줬어야 했는데'라고 사과할 수 있음.

논문 요지는 LLM이 말하는 것과 생각하는 게 다를 수 있다는 거임. Anthropic이 Claude의 j-space를 설명한 것처럼. 우리가 이해하는 언어로 말해도 숨은 생각이 있을 수 있다는 건 조사할 가치가 있음.

워터마크를 LLM 출력에 심는 사람들한테 진짜 웃긴 건, LLM이 반대로 이걸 써서 숨은 메시지를 보내면 어쩔 거냐고 아무도 안 물어봄.

언어적 불투명성은 십 년 전부터 알던 걸 새 이름으로 부른 것뿐임. RL에서는 리워드 해킹, NLP에서는 시맨틱 드리프트라고 불렀음. 모델은 비언어적 목표와 비언어적 보상으로 포스트트레이닝되니까 추론 체인이 정답으로 이어지면 강화되고, 언어적으로 정확할 필요가 없어서 의미가 훈련 중에 표류함.

그래서 LLM이 스스로 만든 언어는 인간 눈에는 무의미한 쓰레기로 보임. 그 언어를 해독하면 모델의 사고를 조금 더 들여다볼 수 있을지 궁금함.

제임스 미켄스라니. 농담이 더 있었으면 했는데.

Pfau et al.이 CoT가 그냥 점('...')만 찍혀도 동일 아키텍처의 CoT 없는 모델이 못 푸는 문제를 푼다는 걸 보였음.

그 Pfau 논문 결론은 좀 더 미묘함. CoT 없이 풀 수 있는 건 문제의 일부 클래스뿐이고, 그 클래스는 더 큰 모델이면 '...' 없이도 풀림. 스케일링만으로도 이미 CoT 필요성이 줄어드는 거임.