"굿하트의 법칙"이 AI 벤치마크를 전부 무너뜨리는 방식

한번 벤치마크가 되는 순간 더 이상 좋은 벤치마크가 아니게 되는 거임, 원래 그런 거 아니냐

아니 그건 틀렸음, 벤치마크가 '타깃'이 될 때 문제인 거지. 아무도 모르는 비공개 벤치마크면 계속 신뢰할 수 있잖아

그래서 우리한테는 계속 진화하는 벤치마크 생태계가 필요하고 실제로 있는 거임. 공개된 적 없는 신선한 비공개 테스트셋을 주기적으로 갈아치우는 게 유일하게 이 메커니즘 자체를 공격하는 방법이라고 봄. 근데 벤치마크 문제는 이거 말고도 많음, 객관식 선택지 자체에서 답이 새기도 하고 코딩 에이전트 벤치마크는 .git 삭제를 깜빡하기도 함

굿하트의 법칙은 결국 상관관계와 인과관계 문제의 한 형태라고 생각함. 뭔가에 영향을 주려는 순간 상관관계가 성립하던 범위를 금방 벗어나버림

그것보다는 관리자가 설계하는 인센티브 때문에 인과 사슬 자체가 바뀌는 게 핵심임. 콜센터에서 평균 통화시간을 KPI로 잡으면 상담원들이 그냥 전화 끊어버리는 것처럼

복잡한 인과망에서 측정 불가능한 변수가 많으니까 결국 프록시 변수 하나로 단일 지표를 만들 수밖에 없는 거지. 근데 프록시 여러 개를 동시에 요구하면서 속이기 힘들게 설계하면 굿하트 법칙 우회는 가능함, 게임 디자이너들이 항상 이렇게 함

제일 좋은 벤치마크는 아무한테도 말 안 하는 벤치마크라는 거 확실함

재밌는 건 예측(forecasting)은 굿하트할 수 없다는 점임, 실제 세계 사건을 맞히는 걸 게임하긴 어렵잖아

글 읽다가 중간에 클로드가 쓴 티가 너무 나서 읽기를 멈췄음. 'defensible in isolation', 'honestly ranked' 같은 표현이 클로드 특유의 수사임

요즘은 그런 티가 보이면 바로 걸러버림, 1년 안에 사람 글이랑 구분 못하게 될 것 같아 걱정임

ACM에서 최근 몇 달 새 사람이 안 쓴 게 명백한 글이 두 번째임, 편집 정책 위반인데 대체 무슨 일인지 모르겠음

예전에 Firefox가 주류 벤치마크 집중을 그만뒀던 게 생각남, 실제 브라우저 성능이랑 벤치마크 점수가 안 맞아서였음. AI 벤치마크도 똑같이 봄, GPT가 1200점 받고 Claude가 1350점 받아봤자 관심 없고 비용이랑 실제 작업 정확도가 중요함. Deepseek이 좋은 이유도 결국 압도적으로 싸기 때문임