비공개 기업 코드로 평가한 Real-SWE, Fable 5.1 해결률 38.8%

요즘 뭐가 제일 믿을 만한 벤치마크인지 모르겠음. Epoch.ai가 여러 벤치마크를 묶어 점수 추적하고, TerminalBench 4는 최근에 나와 오염이 덜했을 듯함. 다만 이건 코딩보다는 sysadmin·DevOps 쪽에 가까움.

나는 5.3-codex부터 extra high thinking으로 코딩 포함 대부분 일을 Codex에 넘기고 있음.

Astra는 개별 작업을 계속 관리하지 않아도 프로젝트 통째로 맡길 수 있더라.

코드도 과제도 공개 못 하는 완전 비재현 평가인데, 모델이 뭘 봤는지 알 수 없으면 결국 '믿어 달라'는 벤치마크 아닌가 싶음.

평판과 장기 이력이 쌓이면 이런 비공개 평가는 가치가 생길 수 있음. 투명성을 포기하는 대신 벤치마크 게임은 어려워짐.

포화를 막으려면 결국 비공개 벤치마크가 필요하지 않나 싶음.

모든 모델이 같은 도구와 과제를 받았다면 현재 서로의 상대 성능은 볼 수 있음. 다만 시간에 따른 발전을 재기엔 벤치마크 오염이나 실행 환경 노후화 문제가 있음.

사설 벤치마크는 이미 많고, Artificial Analysis나 ARC-AGI도 결국 평가 기관을 신뢰해야 하는 부분이 있음.

생산용 사유 코드베이스를 라이선스한다는 설명이 잘 납득 안 감. 가치 있는 독점 코드를 제3자에게 넘길 진지한 회사가 얼마나 있을지 모르겠음.

망했거나 방치된 스타트업 코드베이스를 줄 수 기준으로 사겠다는 광고는 많이 봤음. 그러니 소규모·중간 규모의 폐기 코드가 대부분일 가능성이 있다고 봄.

이 결과만 보면 Fable이 Astra보다 낫다는 뜻인데, 내 실사용에서는 Astra가 5배쯤 빠르고 대화도 훨씬 덜 피곤함. 둘 다 직접 써 보고 고르는 편이 낫다고 봄.

Gemini 3.8 Flash가 이 순위라는 것만으로 이 벤치마크가 이상해 보임. 실무에서 쓰면 같은 파일을 20번씩 읽고 간단한 수정에 도구 호출을 수백 번 하며 빙빙 도는 경우를 봤음.

개인 경험과 벤치마크 결과가 동시에 맞을 수도 있음. 프로그래밍 작업 방식이 너무 많아서 몇 가지 경험만으로 전체 평가를 단정하긴 어려움.

나는 Antigravity에서 3.8 Flash를 자주 쓰는데 Pro급 모델보다 선호함. 컴파일러 비슷한 문제에서 Opus도 못 풀던 걸, 검토 프롬프트를 중간에 넣으며 6시간 안에 1만 LOC 규모로 진전시킨 적 있음. 하네스와 테스트 스위트 차이가 큼.

'비공개' 코드가 실제로 모델 학습에 안 들어갔는지는 매번 측정해야 한다고 봄. botsbench.com을 돌려 보니 모델 오염 검사가 필요하다는 결론이었음.

내 경험도 이 모델·하네스 조합 결과와 대체로 맞음. 큰 기능 작업에서는 Fable 5.1이 Astra보다 우선순위를 더 잘 판단하고, 데이터가 커질 때 터질 문제도 더 잘 잡더라.

Astra는 내게도 작업의 90%까지만 하고 가장 중요한 부분을 빼먹는 일이 잦음. 고치라고 하면 관련 없는 경우를 6시간씩 파고들어서, 뭘 해야 하고 허락을 받아야 할지 판단을 못 하는 느낌임.