Artificial Analysis v5 공개, 단일 지능 지수에 남는 벤치마크 딜레마

저 말이 사실이면 좀 납득감. 새로 나온 오픈웨이트 모델 써볼 때마다 실망하는 편인데, 예전 Claude가 벤치 점수는 낮아도 답변 품질은 더 좋더라.

안 챙기면 왜 새 모델 발표할 때마다 그 지표를 들고 나오는 건데. 그게 더 웃긴 부분임.

내 경험은 좀 다름. Opus 5.5가 Qwen3.8 Flash Next보다 똑똑한 건 맞는데, 실제로 일 시키면 Qwen이나 DeepSeek가 훨씬 부지런함. 라이브러리 추천해 달라고 하면 후보 4개 받아서 소스 읽고 테스트 프로그램까지 짜주는데, Opus는 웹페이지 몇 개 보고 그럴듯한 헛소리 던져줌.

중국 오픈 모델은 내 프로덕션 작업에서는 답이 없었음. GLM 5.3이랑 Deepseek v4가 무한 루프 돌면서 OpenRouter 잔액이 0 될 때까지 토큰 태웠음. 자동 충전 안 켜둔 게 다행이었지.

미국 랩들이 벤치질 안 하는 건 맞는데, 글은 초점을 좀 과하게 잡은 듯. 그냥 앞서 있으니까, 그리고 사용자가 뭘 기대하는지 아는 내부 벤치 팀이 있으니까 안 하는 거임. 오픈웨이트 모델이 벤치 차트보다 실망스러운 건 네가 뭘 놓친 게 아님.

다르게 읽으면 미국 프론티어 회사가 공개 벤치를 신경 안 쓰는 이유는 서구 벤치 만드는 쪽이 걔들을 따라가기 때문임. 걔들이 다음 대세라고 하면 그게 벤치에 반영됨.

글에 나온 intelligence.ai 들어가 봤는데 점수가 더 나은지는 모르겠고 사이트는 훨씬 쓰기 편함. AA는 모바일 UX가 진짜 최악이라 원하는 모델만 골라 보는 것도 스트레스임.

AA가 사람들이 실제로 쓰는 추론 강도에서 벤치를 돌렸으면 좋겠음. 주변에 max 추론 쓰는 사람 거의 없고 Claude Code도 쓰기 겁나게 만드는데, 코딩 벤치는 전부 max 기준임.

다른 추론 레벨도 벤치 다 해뒀음. 기본 차트에 안 보여줄 뿐이고 필터에서 켜면 나옴. 최신 모델 추론 단계별 수치로는 AA가 제일 나음.

기준 바꾸는 건 좋은데 미리 공개해라. 상위 N개 모델이 2점 차 안으로 들어오면 기준을 바꾼다, 이런 식으로 트리거를 미리 등록해두면 됨.

차라리 모델별로 정성 리뷰가 더 많아졌으면 함. '이 모델은 달러당 지능 34, 저건 38' 식으로 줄여버리면 내 유스케이스에 맞는지 알 수가 없음. 문제는 릴리스 숫자랑 빈도 때문에 그럴 여력이 없다는 거지.

벤치는 AI판 트레이딩 카드 PSA 등급 같음. 점수는 뿌옇고 검증도 안 되는데 감정 기관이 시장 가치를 좌우하니 부패할 유인이 다 있음. 지금 그렇다는 건 아니고, 재료는 다 갖춰졌다는 얘기임.

Qwen3.8 27B가 수백B 모델들 사이에 이름 올린 것도 신기함. 덩치는 작은데 성능은 튀는 까마귀 같은 놈임.

벤치를 갈아치우는 게 벤치 맥싱보다 나쁜 듯. 굿하트 법칙이야 어차피 다들 같은 목표를 두고 벌어지는 일이니까.

AA는 돈을 어떻게 버는 거임? 투자자는 누구고. 이게 제일 궁금함.

AA가 몇 주 사이에 방법론을 두 번이나 갈아엎었음. 복합 점수는 이제 US News 대학 랭킹이나 다름없고, 당분간은 LiveBench가 더 신뢰할 만함.