MaxxBench, DeepSWE 과제에 사소한 변형만 가했는데 Gemini 3.8 Flash 23점p 폭락

실제 프로그래밍에도 사소한 요구 변경이 엄청 많잖아. 이런 벤치마크가 오히려 현실에 가깝다고 봄

벤치마크 점수랑 실사용 능력 사이 괴리는 항상 있음. 내 경우엔 deepseek 4.1 flash가 haiku 5.5랑 비슷한 수준인데 둘 다 빠르게 쓰레기만 뽑아내더라

나는 DeepSeek 쓸 때마다 완전 무용지물이었는데 HN에서 왜 저렇게 좋아하는지 이해가 안 갔음. 근데 frob/deepseek-v4-flash-0731을 Ollama로 돌릴 땐 실망했고 unsloth GGUF로 바꾼 뒤엔 코딩에 아주 만족하고 있어. 양자화랑 버전 문제일 수도

openrouter provider에서 문제를 겪었고, 그냥 DeepSeek 직접 붙여서 쓸 때만 괜찮았음

DSF 4.1 high/max는 코딩에서 Terra급이라고 봄. Luna는 작업이 아주 명확할 때만 싸구려 구현자로 쓸 만하고, Sol 6.1이랑 Sonnet 5.5 medium은 계획만 반쯤 있으면 강력함. Opus 5.5 high는 플래너로도 훌륭하고 Astra는 돈 태우는 데 최고

근데 DeepSWE는 5월에 나왔고 DeepSeek v4 flash는 4월에 나왔음. 정의상 이 벤치마크로 벤치막싱을 할 수가 없는데? 내 생각엔 변형이 실제 업무랑 달라서 작은 모델을 걸려 넘어뜨리는 것 같음

v4 flash 릴리스가 세 개라서 헷갈리는데, 글에 나온 53.3%가 0731 업데이트 점수랑 비슷함. 4월 원본 preview는 비교표에서 7.3%였음

그래프에서 눈에 띄는 건 작은 모델이 가장 크게 무너진다는 점임. 이름에 -flash 붙은 것들이랑 OpenAI Luna. GLM-5.3과 GLM-5.3-flash는 이름만 같고 다른 계열이라 예외고. 이게 진짜 원인이면 Kimi K3.1이나 Gemini Carbon은 잘하고 Haiku 6은 무너져야 하는데, 반증 가능한 예측임

그럼 AI 코딩 비용에는 안 좋은 소식이네. 증류 모델이 무너지는 거라는 가설도 있는데, 대형 랩의 작은 모델은 다 증류판이니까

연대기를 보면 벤치막싱이 아닐 수도 있다는 건 알겠는데, 그럼 왜 사소한 변경에 성능이 폭삭 주저앉는 건데? 그게 벤치막싱의 증거 아니야?

모델들이 프롬프트 대신 상상 속 채점자를 만족시키려 든다는 대목, 나도 영어 시험에서 똑같은 짓 했음

학술적으로 굉장히 흥미롭고 벤치마크 전반에 대한 내 의심을 확인해줌. DeepSWE 자체에 버그가 있다는 것도 눈에 띄었고. 실용적으로는 max 모드를 쓰지 말라는 결론인데, 74%에서 50%로 떨어져도 통과율 50%면 코딩에 쓸모없는 건 아님

벤치마크 품질을 개선할 인센티브가 대체 누구에게 있나 싶음

Gemini 3.8 Flash가 Opus 5.5랑 비슷하다는 건 내 경험과 정반대라 이 결과가 맞다고 봄. Argon도 궁금한데 벤치보다 확실히 뒤처져 있었음

아니야, 이건 오픈소스와 프론티어 격차를 그대로 보여줌. 지금 오픈소스 모델로 실제 코드 작업은 무리야. 이 벤치마크도 대부분 DeepSWE 과제이고 정보가 안 바뀐 부분 덕에 점수가 나오는 것뿐임

점수 차이가 크다고 그 모델이 실제로 훨씬 나쁘다는 뜻은 아님. 훈련 데이터의 가정 때문에 시험에서만 약한 거고 실무에선 잘할 수도 있음. 다만 예상을 배반하는 상황에 얼마나 적응하는지는 이 시험이 보여주는 게 맞음