Qwen3.8, GPT-5.5 Pro 추론 1% 접두사에 답변 중복률 18.18%p 상승

공개로 얻을 수 있는 GPT-5.5 사고 과정은 Stolen Thoughts에서 나온 것뿐인데, Qwen 3.8 0902는 8월 10일 논문 공개 뒤 학습됐음. 그래서 그 특정 사고 과정을 이미 봤을 가능성이 큼.

이런 분석을 장기간 제대로 하려면 결국 각 회사만 할 수 있음. 공개 데이터에 없는 전체 CoT를 회사만 갖고 있으니까.

사고 과정 접두사를 끼워 넣는 방법은 논문 전부터 알려져 있었음. Anthropic 추론 모델 API에서 유효한 thinking 스텁이 필요해서 나도 18개월 전쯤 비슷하게 알아냈고, 증류하는 쪽도 알고 있었을 거라 봄.

내 이해로는 Stolen Thoughts 저자들이 최상위 모델의 읽을 수 있는 CoT를 복구한 뒤, 그 첫 1%를 오픈 모델 CoT의 시작처럼 넣어 답변 유사도를 재는 실험임. 앞 논문은 Kimi-K3와 Claude 4.8의 관계를 봤고, 이번 결과는 Qwen3.8과 GPT-5.5 Pro 쪽을 가리키는 셈임.

그런데 두 모델이 같은 벤치마크 답변 데이터로 학습돼서 비슷한 응답을 보이는 경우는 어떻게 배제함? 접두사 효과만으로 증류라고 단정하기엔 설명이 부족해 보임.

Qwen이 Opus 4.8 쪽으로는 거의 안 움직이고 GPT-5.5 쪽으로만 크게 움직였다고 해서 왜 학습 출처를 추론할 수 있는지 모르겠음.

논문 부록 B가 그 추론을 다룸. 점수가 오르면 그 교사 모델을 조건으로 했을 때 답변 분포가 더 가까워진다는 논리임.

인터넷을 허락 없이 긁어 모델을 만든 회사들이 비슷한 일을 당했다고 불평하는 건 설득력이 약함. 프런티어 연구소가 이 문제에서 도덕적 우위를 주장하긴 어렵다고 봄.

그래도 생성된 사고 과정에는 사용료를 냈잖아. 텍스트 생성 도구를 팔면서 나온 텍스트를 다른 쪽이 쓰면 무엇이 문제인지 모르겠음.

Qwen과 중국 연구소가 추론 흔적을 복사하는 수준이라면 프런티어보다 1년 이상 뒤처졌다는 뜻이라 씁쓸함.

나는 반대로 프런티어 연구소의 해자가 약하다는 뜻이라 반가움. 무료로 가져간 학습 데이터 위에서 만든 결과를 곧 복제당한다면 과도한 독점은 막히니까.

중국 연구소가 빠른 추격 전략을 쓰는 건 꽤 분명해 보임. 엔지니어링은 좋지만, 대규모 연산으로 새 전략을 탐색하는 최전선 연구는 미국 연구소보다 많이 뒤처져 있다고 봄.

그래도 중국 쪽은 최상위 Nvidia 장비 없이 돌릴 수 있는 작고 효율적인 모델 같은 다른 목표를 최적화하는 것으로 보임.

Pi에서 GPT-5.6 Sol이 도구 호출에 사고 과정을 흘린 적이 있는데, Stolen Thoughts 논문의 CoT와 정말 비슷했음. 그래서 Qwen3.8 27B의 CoT도 닮았다고 느꼈음.

Qwen3.8-27B를 꽤 많이 써봤지만 네가 올린 것 같은 깨진 CoT는 본 적 없음. 다만 원글은 CoT 문체 자체가 아니라 접두사 뒤의 연속 생성 결과를 다루는 거라 완전히 반박하는 건 아님.