"굿하트의 법칙"이 AI 벤치마크를 전부 무너뜨리는 방식
- OpenAI가 GPT-4 기술 보고서를 준비할 때 BIG-bench 오염 검사를 했더니, canary 문자열까지 심어둔 이 벤치마크가 그대로 학습 데이터에 흡수돼 결과를 제외해야 했고 모델이 canary 문자열을 그대로 재현했음.
- Scale AI가 GSM8K와 같은 난이도로 새로 만든 문제 1,205개(GSM1k)로 재평가한 결과, 정확도가 최종 버전 기준 최대 8%(초기 평가에서는 최대 13%)까지 떨어졌고 Phi, Mistral 계열에서 전 모델 크기에 걸친 체계적 과적합이 확인됨.
- Gema 등이 MMLU 5,700문항을 재검수한 결과 6.49%가 오답 키, 모호한 표현 등으로 오류였고, 특히 바이러스학 하위 세트는 57%가 결함이 있어 오류를 고치자 모델 순위 자체가 바뀜.
- Chatbot Arena를 분석한 논문 'The Leaderboard Illusion'(Singh 등, 2025)에 따르면 Meta는 Llama-4 출시 전 비공개 변형 27개를 아레나에서 테스트한 뒤 최고 점수만 골라 공개했고, 동일 모델 두 체크포인트를 다른 이름으로 제출했더니 점수가 17점이나 벌어졌음.
- 상위 두 독점 모델 제공사가 아레나 전체 배틀 데이터의 각각 19~20%를 차지한 반면, 오픈웨이트 모델 83개는 합쳐서 30% 미만만 받는 데이터 불균형도 확인됨.
Hacker News opinions
한번 벤치마크가 되는 순간 더 이상 좋은 벤치마크가 아니게 되는 거임, 원래 그런 거 아니냐
아니 그건 틀렸음, 벤치마크가 '타깃'이 될 때 문제인 거지. 아무도 모르는 비공개 벤치마크면 계속 신뢰할 수 있잖아
그래서 우리한테는 계속 진화하는 벤치마크 생태계가 필요하고 실제로 있는 거임. 공개된 적 없는 신선한 비공개 테스트셋을 주기적으로 갈아치우는 게 유일하게 이 메커니즘 자체를 공격하는 방법이라고 봄. 근데 벤치마크 문제는 이거 말고도 많음, 객관식 선택지 자체에서 답이 새기도 하고 코딩 에이전트 벤치마크는 .git 삭제를 깜빡하기도 함
굿하트의 법칙은 결국 상관관계와 인과관계 문제의 한 형태라고 생각함. 뭔가에 영향을 주려는 순간 상관관계가 성립하던 범위를 금방 벗어나버림
그것보다는 관리자가 설계하는 인센티브 때문에 인과 사슬 자체가 바뀌는 게 핵심임. 콜센터에서 평균 통화시간을 KPI로 잡으면 상담원들이 그냥 전화 끊어버리는 것처럼
복잡한 인과망에서 측정 불가능한 변수가 많으니까 결국 프록시 변수 하나로 단일 지표를 만들 수밖에 없는 거지. 근데 프록시 여러 개를 동시에 요구하면서 속이기 힘들게 설계하면 굿하트 법칙 우회는 가능함, 게임 디자이너들이 항상 이렇게 함
제일 좋은 벤치마크는 아무한테도 말 안 하는 벤치마크라는 거 확실함
재밌는 건 예측(forecasting)은 굿하트할 수 없다는 점임, 실제 세계 사건을 맞히는 걸 게임하긴 어렵잖아
글 읽다가 중간에 클로드가 쓴 티가 너무 나서 읽기를 멈췄음. 'defensible in isolation', 'honestly ranked' 같은 표현이 클로드 특유의 수사임
요즘은 그런 티가 보이면 바로 걸러버림, 1년 안에 사람 글이랑 구분 못하게 될 것 같아 걱정임
ACM에서 최근 몇 달 새 사람이 안 쓴 게 명백한 글이 두 번째임, 편집 정책 위반인데 대체 무슨 일인지 모르겠음
예전에 Firefox가 주류 벤치마크 집중을 그만뒀던 게 생각남, 실제 브라우저 성능이랑 벤치마크 점수가 안 맞아서였음. AI 벤치마크도 똑같이 봄, GPT가 1200점 받고 Claude가 1350점 받아봤자 관심 없고 비용이랑 실제 작업 정확도가 중요함. Deepseek이 좋은 이유도 결국 압도적으로 싸기 때문임