NanoGPT 자율 최적화 경주에서 Fable 5가 인간 기록 격차 81.7% 축소

그래프가 모델별 최고 검증 결과만 보여주는데, 같은 모델을 여러 번 돌렸을 때 분산이 얼마나 되는지 궁금함.

153회의 자율 실행을 했다고 하는데, 여기서 실행이 정확히 뭔지 글만 읽어서는 잘 안 풀어줌. 이 결과가 연구 능력과 왜 연결되는지도 먼저 설명했어야 함.

내가 이해한 바로는 18개 모델이 목표 손실 3.28 아래로 내리려고 nanoGPT 학습 방식을 반복해서 바꾸고 시험한 것임. 시드도 바꿔 여러 번 반복했다는데, 18 곱하기 8이 153이 아닌 점은 여전히 의문임.

Fable 5는 high인데 Opus 5는 max로 돌린 이유가 뭔지 모르겠음. 노력 설정이 제각각이면 실험 오차로 볼 여지가 있음.

좋은 실행은 약한 신호를 기록에 남겨 나중에 검증하고, 결과를 더 잘 해석한다는 설명이 흥미로움. 약한 신호를 보존하는 이력 로그나 목표 프롬프트의 작은 차이만으로 순위가 바뀌는지도 보고 싶음.

이런 자동 연구를 실제로 쓸모 있는 최적화 문제로 경쟁시킨 점은 괜찮아 보임.

현재 진행 중인 Grok 4.6 실행이 특히 궁금함. 이 벤치마크에는 잘 맞을 것 같은데 며칠 뒤 결과를 다시 봐야겠음.

METR 글을 쓴 사람으로서, 원래 베이스라인에서 시작했다면 오염 가능성이 걱정됨. 최근 모델에서 오염 징후를 봤고, 일부 모델은 토큰을 더 쓰면 아직 성능 평탄화도 안 보여서 이 점수는 능력의 상한이 아니라 비용 조건부 하한에 가까움.

GPT-5.6 Sol은 대기 시간이 많았다는 주석이 있는데, 시간을 병렬 실행 등에 제대로 못 써서 시간축이 늘어난 건지 궁금함. Opus 5도 오래된 serial 버전 program.md를 썼다고 해서 그래프가 완전히 같은 조건은 아닌 듯함.

Grok 성적은 꽤 실망스러움. 모델 자체 문제인지 하니스가 나쁜 건지 봐야 하지만, 좋은 하니스는 모델을 새로 만드는 것보다 훨씬 싸고 쉬운 편임.

장기 다일 작업을 수백만 세션 이상 돌린 환경에서 훈련된 모델과 그렇지 않은 모델의 차이가 여기서 드러나는 것 같음.

GPT-5.6 Luna는 저렴한 모델이라는데 Sonnet급 성적을 낸 점이 인상적임.