Memdoor team-solve, Qwen3.8-27B 5개 팀으로 LiveCodeBench Hard 첫 10문제에서 Fable 5를 앞서

qwen 3.8-flash-next를 Q8이나 풀 정밀도로 돌려보면 좋겠음. terminalbench 4.0 같은 비교만 봐도 3.8-27B보다 거의 모든 코딩, 커맨드라인 벤치에서 낫더라.

해볼 생각임. 모델이 똑똑해지면 개선되는 건 토큰 사용량과 지연 쪽이고, 솔직히 프롬프트랑 temperature만 좀 더 튜닝해도 10점 나올 것 같음. 원저자 하네스도 이미 9.6이라 괜찮은 수치임. 다만 이 루프는 제일 어려운 문제에서 100 token/sec 기준 1시간 넘게 걸림.

이거 지난주에 HN에 이미 올라왔던 GVS5H 아니냐? 저기서 언급한 다른 방식임.

내가 몇 달 전에 만든 헤드리스 코딩 에이전트 memdoor로 GVS5H를 재현하려는 것임. yaml에서 스텝, 모델, temperature를 다시 정의하면 하네스를 얼마든지 바꿀 수 있으니 레시피는 다 이 저장소에 있음.

데자뷰네. 하네스 하나 만들어서 좋은 오픈소스 모델이 프론티어만큼 한다고 보여주면 인터넷 점수 벌기 진짜 쉬움. 몇 년 된 포화되고 오염된 벤치마크라 우리가 실제로 쓰는 에이전틱 작업은 하나도 반영이 안 됨.

Bonsai 2 양자화면 적당한 가격의 게이밍 머신에서 Qwen 27B가 50 t/s 나오니까, 잘 짠 하네스만 있으면 로컬에서 Fable 5급 코딩 성능이 나온다는 얘기임. 로컬 성능의 상한이 꽤 높아 보임.

Bonsai 2비트는 Qwen 27B의 8비트나 4비트보다 확실히 멍청함. 다섯 개를 붙여도 이 품질은 안 나올 것 같음.

Bonsai 양자화는 실작업용이 아님. 4비트 Qwen3.8 27B도 코딩에는 애매하고 Q5, Q6은 돼야 쓸 만한데, 그러면 32GB 카드에서 컨텍스트가 깎여 나감.

로컬 추론 엔진도 많이 써보고 Fable, Astra도 같이 쓰는데 하네스로 브루트포스한다고 모델 지능 부족이 메워지진 않음. 하루에 Qwen3.8 토큰 수천만 개를 뽑아도 Astra나 Fable이 한 시간 안에 하는 일을 못 따라감.

Cerebras 칩 같은 걸 보면 저 칩에 맞는 하네스만 있으면 지구상 모든 컴퓨터가 Fable급 지능을 갖게 되는 거 아니냐는 생각이 듦.

Cerebras는 우리도 시도해봤는데 출력이 32K로 잘려서 저자 예산인 128K 추론이 안 들어감. 속도가 진짜 빠른 건 맞음.

로컬 모델이 하이퍼스케일러랑 경쟁력을 유지해야 함. Anthropic이 게임 리버스 엔지니어링을 막기 시작한 걸 보면 검열의 문턱을 넘는 중임.

지금 나온 로컬 모델은 사라지지 않음. 가중치는 이미 공개됐고 Qwen 27b, deepseek도 충분히 유용함. 경험 있는 개발자가 직접 이끌면 코딩 용도로는 대부분 충분함.

uncensored나 abliterated 태그 붙은 건 언젠가 허깅페이스에서 싹 지워질 확률이 높다고 봄. 진짜 장벽은 deepseek v4.1 flash급을 온프렘으로 돌릴 하드웨어 예산이 있는 사람이 거의 없다는 것임.

결론 내리기엔 이름. 벤치마크가 LiveCodeBench Hard 첫 10문제뿐이고 그 벤치마크 자체도 몇 년 된 거라 포화됐을 수 있음.

Fable 5도 이제 프론티어가 아닌데 27b짜리 다섯 개가 Fable 5만큼 한다는 건 사실이라기보다 희망회로 같음.

'생각한다', '믿는다' 수준이라면 그래서 측정 가능성이 더 필요한 거임.