Dan Luu, napkin-math·Senior SWE-Bench·겨울용 타이어까지 세 가지 벤치마크의 결함 짚어

Dan Luu가 napkin-math README가 적은 random memory R/W 지연 20ns를 문제 삼음. 측정 코드에 데이터 의존성이 없어 루프 반복 간 읽기가 병렬로 실행되므로 지연이 아니라 처리량을 재는 셈이고, 실제 DRAM 읽기 지연은 약 100ns임
Senior SWE-Bench와 DeepSWE는 참조 해와 의미가 같은 코드도 길이 임계값을 넘으면 실패 처리하는 불연속 기준을 쓰고, LLM 채점자 자체가 불안정해 모델 우열의 근거로 쓰기 어려움
구글 AI 요약은 7°C 이하에서 올시즌 타이어 접지력이 사라진다고 단정하지만, 글에 실린 타이어 테스트는 0°C까지만 진행돼 겨울 조건을 온전히 덮지 못함
HN 댓글에서는 CPU 투기적 실행이 발달해 해시 테이블 조회 같은 벤치마크도 지연이 아닌 역처리량을 재는 경우가 많다는 지적이 나옴
모델이 FLT 증명과 밀레니엄 문제 하나를 풀었다는 반론과 함께, 최신 SotA 출력 $50/Mtok이 o1-preview의 $60/Mtok보다 싸다는 가격 비교가 제시됨

Hacker News opinions

타이어로 넘어가는 이 연결이 글을 훨씬 좋게 만듦. 왜인지는 모르겠는데 그냥 그럼

디지털 아닌 실제 영역에서 같은 패턴을 보여줘서 더 와닿는 듯

근데 타이어 주장이 좀 헷갈림. 0°C까지만 테스트한 거잖아. 겨울이 0°C 위면 그게 겨울이야? ㅋㅋ

AI 발전이 벽에 부딪힌 느낌임. 벤치마크가 다 주도하는데 그 벤치마크 타당성을 누가 검증하는지 모르겠음. Senior SWE-Bench는 불연속 임계값이고 LLM 채점자도 불안정함

벽이라는 소리 2년째 나옴. 오늘날 SotA 모델이 o1-preview보다 오히려 싸고, FLT랑 밀레니엄 문제 증명도 나왔는데 goalpost 옮기는 것임

나도 벤치마크 만드는데 개별 점수를 안 깨지게 합치는 알고리즘 짜기가 진짜 어려움. 그래서 다들 결과를 capping하더라

메모리 지연 벤치마크 문제는 해시 테이블 조회 벤치마크에도 똑같이 적용됨. 1990년대부터 CPU 투기적 실행 때문에 지연 측정이 어려워졌음

공개 코딩 벤치마크가 부족하다는 건 동의하는데 '내 일이랑 안 맞는다'는 불만은 늘 있을 수밖에 없음. 잘 설계된 eval이면 소수 과제에서 일반화되는 속성을 담을 수 있다고 봄

그 일반화 주장은 그냥 가설임. 설명력이 없으면 베개 겉모습 벤치마크랑 다를 게 없음

gemini가 벤치마크는 별로라길래 조심스럽게 썼는데 실제로는 클로드랑 비교해도 크게 밀리는 증거를 못 봤음