SlopCodeBench 10월 결과, Astra가 strict pass rate 16.3%로 1위, Opus 5.5는 medium이 xhigh보다 높음
- Astra가 strict pass rate 16.3%로 전체 1위를 기록함, 5월 gpt-5.5의 14.8%보다 높음
- Opus 5.5는 medium 설정이 xhigh보다 높은 성능을 보였고, xhigh 비용은 medium의 2.11~4.22배임
- 이번 실험은 36개 문제와 196개 체크포인트 전체 세트로 진행됨, 이전 3개와 6개 문제 부분 집합 결과와는 직접 비교가 안 됨
- strict pass rate 12.2~16.3% 범위에 Opus 5.5, Fable 5.1, SOL 6과 6.1, Astra, GLM 5.3이 묶임
Hacker News opinions
나도 부분 집합으로 돌려봤는데 대표성이 없더라. 6개 골랐을 때 fable이 33%였는데 전체에선 14~15%대로 떨어짐. 재현하려면 논문이랑 scb-problems 레포 가져다가 모델한테 붙이면 됨.
이 회사 리포트 Claude 말투가 너무 많아서 좀 거슬림.
나는 대부분 medium이 제일 품질 좋더라. 공간 추론이나 글 쓸 때만 xhigh 씀.
Astra 글은 잘 쓰는데 코드를 줄바꿈 다 빼고 골프처럼 짜는 경우가 있음. prettier 돌리면 해결은 됨.
나는 Astra가 제일 슬롭 많은 코드라고 느낌. Claude가 맨날 치워줘야 함. 1000줄 나온 거 100줄로 줄인 적도 있음.
프런티어 모델은 plan 모드에서만 쓰고 코딩은 싼 모델로 돌림. Opus 5.5나 6.1 Sol이 디렉터 역할 맡김.
슬롭은 LLM이 과하게 방어적으로 짜서 생기는 것 같음. 사람이 복잡도 보고 줄이라고 시켜야 함.
테스트 통과는 하네스에서 강제하고 비용이랑 품질을 재는 게 현실적이지 않나.