1,400개 Claude Code 세션 분석으로 제기된 Opus 5.5 너프 의혹, 11월 3일 추론 패턴이 급변했다는 주장
- @shanemelaugh가 Gemini 4 Argon으로 Claude Code 세션 1,400개를 분석한 결과, 모델 이름은 그대로인데 11월 3일을 기점으로 추론 방식이 급격히 달라졌다고 주장함
- 같은 스레드에서 high 설정에서 모델이 하는 사고량이 크게 줄었다고 밝힘
- 실제 버그 테스트에서 Opus 5.5 high는 곧바로 덤비다 헤매며 3시간 동안 해결하지 못했고, xhigh는 잠깐 생각한 뒤 몇 분 만에 고쳤다고 함
- @theo는 bb-1에서 opus 5.5 xhigh로 fleet 저장소 작업을 띄워 ClickHouse의 cliproxy 로그로 주장의 정확성을 확인하겠다고 응답함
- 댓글에서는 모델이 아니라 요약기가 바뀐 것이라는 반론과 함께 신모델 출시 전 양자화, 컴퓨트 재배분, A/B 테스트라는 추측이 나옴
Hacker News 의견들
나도 이거 느꼈음. 기본 추론 단계를 올려야 했는데 예전 같지 않더라. 새 모델 나오기 전에 자주 있는 일 같은데, Qwen4 나온다니까 앤트로픽이 그 직후에 뭘 내려는 건 아닐까. IPO도 있고.
OpenAI든 앤트로픽이든 계속 이랬는데 아직도 부정하는 사람이 있다는 게 이해 안 됨. 몰래 양자화하거나 효율을 손보는 거임. 램 40% 아끼면서 벤치가 몇 퍼센트만 떨어지면 당연히 그렇게 하지. 문제는 그 벤치가 실무를 반영 못 한다는 거고, 이게 로컬 추론으로 넘어가려는 제일 큰 이유임.
비슷한 경험 있음. 새 모델 내기 전에 멍청해지는 느낌. 다음 모델 학습에 GPU를 몰아주느라 사고량을 줄이는 거 아닌가 싶음.
나는 Opus 5.5 high만 씀. 확실히 느꼈고 너프 감시 사이트까지 찾아봤음. 예전 딥시크 수준으로 떨어진 느낌이었는데 요즘은 좀 나아짐.
그냥 요약기가 바뀐 거고 모델 성능 자체는 그대로임.
동의. 이건 품질에 대해 아무것도 말해주지 않음. 업그레이드인지 다운그레이드인지도 모름.
오픈 웨이트면 모델이 언제 바뀔지 내가 정함.
그건 아님. 모델은 웨이트 말고도 볼 게 많음.
나도 느낌. 매일 하는 작업에서 품질은 떨어지고 실수는 늘고, 예전엔 드물던 스크립트 반복 오류가 세션마다 몇 개씩 나옴.
조금 멍청해진 건 맞는데 그렇게 심한지는 모르겠음. 화면 표시가 바뀐 것도 체감에 영향을 주는 듯.
토큰 사용량이 1~2주 전부터 확 늘었음. 몇 시간 하다가 5시간 한도에 걸렸고 겨우 간단한 버그 하나 고쳤음. 컴파일러처럼 예측 가능하지 않은 게 제일 싫음.
LLM 문제가 아니라 제공자 문제임. 셀프호스팅이면 느려지는 건 봐도 품질은 그대로일 거임.
토큰 사용량이 아니라 유동적인 5시간 한도 때문일 수도 있음. 퍼센트로만 표시하는 데는 이유가 있음.
내가 이해하기로는 최신 모델을 누가 돌리는지 골라서 준다고 함. 너프는 맞는데 모두에게 해당하는 건 아님.
LiveNerf를 보면 아닌 것 같은데. github.com/ninjahawk/livenerf
A/B 테스트 같음. 벤치마크는 API를 쓰니까 고성능 파이프라인을 타고 일반 요청은 양자화된 저비용 버전으로 떨어지는 구조 아닐까. 결국 돈 벌려는 것.
사용자 입장에선 믿음. 새 모델 준비하느라 배정 컴퓨트를 줄이는 거라면 그나마 덜 나쁜 이유임.
그냥 용량 문제 아닐까. GPU를 동적으로 수천 장 늘릴 수는 없으니 기존 모델을 절반으로 양자화해서 자리를 만드는 거지.
그런 건 안 함. 부하가 걸리면 요청이 큐에 쌓이고 느려질 뿐이라는 얘기도 있었고 근거도 없음.
Fable 5.1도 지난주에 품질이 확 떨어졌음. 내 착각 아님.