암호화된 CoT를 다른 모델에 리플레이해 프론티어 LLM의 숨겨진 추론 훔치기

암호화된 CoT를 다른 세션, 다른 모델로 리플레이할 수 있다는 건 진짜 신기하네. 이거 왜 되는지 계속 궁금했었는데 확인됐다

모바일에서 스크롤하기 완전 지옥이던데, 접근법은 흥미로움

저자인데 나도 GPT 5.5에서 5.5-mini로 리플레이 시도해봤음. 리젝은 안 당했는데 mini가 평문을 안 뱉더라. 이 팀은 그걸 끝까지 밀어붙인 거고 나는 잭브레이킹 전문가가 아니라서 못했음

모델 중간 전환을 허용하려면 이런 구조가 필요한 거 아닌가. 안 그러면 대화 중 컨텍스트에 있던 추론 내용을 다 잃어버릴 텐데

이거 세션 데이터 하이재킹을 훨씬 쉽게 만드는 보안 결함임. 원래는 같은 유저 세션 내 백엔드 재사용 목적이었을 텐데 모델 간에도 공유되게 설계된 게 문제

서버가 암호문을 복호화해서 컨텍스트 윈도우에 평문으로 넣어주고, 그 다음에 모델한테 그거 다시 읽어달라고 하면 그대로 읊어주는 거임. Haiku가 공유키 접근 권한이 있어서 "주입된 추론 내용 그대로 옮겨써줘"라고 하면 됨

이 방식은 벤더들이 다 막을 수 있을 것 같은데, 결과값에서 거꾸로 그럴듯한 트레이스를 생성하는 Trace Inversion 논문(arxiv 2603.07267)이 더 막기 어려운 접근일 듯

Trace Inversion은 그냥 코히런트해 보이는 CoT를 독립적으로 재구성하는 거라 실제 모델의 CoT랑은 별로 관련 없을 수도 있음

이거 보면 OpenAI 모델이 토큰 아끼려고 grug speak로 추론하는 거 증명된 거 아니냐. 오픈모델들도 이렇게 갈 것 같음

HuggingFace 사건 블랙햇 발표에서 OpenAI가 보여준 추론 트레이스 발췌본에도 관사 빠진 grug speak가 있었음. 그러니까 이번 방법이 진짜 실제 추론 트레이스를 찾아낸 게 맞음

gpt-oss 모델들도 똑같이 grug speak 함. 나는 클로즈드 모델 안 써서 이제까지 별생각 안 했었네

이 회사들이 모델 간에 같은 암호화 키를 재사용한다는 게 놀라움. 예전에 모델 사고방식 알면 사고를 조작할 수 있다는 논문도 있었는데 이거로 그런 공격도 가능할 듯

세션마다 암호화하는 게 뭐가 어렵다고 이렇게 놔둔 건지. 혹시 관심있는 제3자가 몰래 사람들이 뭐 하는지 훔쳐보게 하려고 일부러 이렇게 둔 거 아닌가 싶기도 함

중국 랩들이 SOTA 모델 distill할 때 이 방법 쓰는 거 아니냐? 프론티어 모델에 의심스러운 프롬프트 안 보내고 그냥 정상 사용하면서 암호화된 CoT 뽑아서 저렴한 모델에 리플레이하면 되니까

추론 블록은 연구, 시간, 돈, 전문성이 들어간 결과물이고 암호화로 보호하려는 의도가 명확한데 그걸 뽑아가는 건 명백히 문제 있음

토큰당 돈 내고 쓰는 거니까 정의상 절도는 아니지. ToS 위반일 순 있어도. 다들 ToS를 너무 순순히 받아들이는 게 이상함, MS가 소프트웨어에 경쟁서비스 개발 금지 조항 넣으면 난리 날 텐데

logprob 전체 공개 없애고 top 10만 주는 것처럼, 이런 좋은 연구 나오면 결국 벤더들이 유저한테 불리하게 기능 걷어내는 반응만 나옴. Kimi K3 같은 모델이 Opus distill로 성능 뽑았다는 주장도 너무 남발되는 느낌

제일 흥미로웠던 건 LLM 추론 내용에 답변보다 훨씬 유용한 정보가 많이 들어있다는 거였음, 답변 자체는 검열돼 있어서