Qwen3.8 Max, Artificial Analysis 에이전틱 지수 1위 등극... 벤치마크 범위 놓고 논쟁

코딩 에이전트 페이지엔 Qwen 이름이 한 번도 안 나오는데 무슨 근거로 '최고'라는 거야? 인덱스 종류가 다른 거 아니냐

맞아, Agentic Index랑 Coding Agent Index는 별개 벤치마크임. Qwen3.8 Max는 Agentic Index에서만 55.4점이고 Coding Agent Index는 아예 테스트도 안 했어

Qwen3.8 Max 개별 모델 페이지에도 그 주장 없던데, 이거 클릭베이트 아니냐

그래프 보면 오히려 Grok 4.5가 가성비 제일 좋아 보임

벤치마크를 다 돌린 게 아니야. DeepSWE는 아예 없고, Terminal-Bench v2.1은 81% vs Sol 90%, SWE-Atlas-QnA도 없어서 코딩 지수에선 1위 아님

'artificial analysis'라는 이름값 하나 의심스럽긴 한데, 큰 Qwen 모델들 써보니 진짜 인상적이었음. Kimi도 잠깐 써봤는데 좋았고. 다만 깊이 들어가면 품질 저하되는 느낌은 있음. 중국이 이 압축/증류 최적화 경쟁에 기여한 건 인정해야 함, LLaMA도 이 경쟁 없었으면 안 나왔을 듯

Qwen 3.8 27B 진짜 기대됨. Strix Halo에서 prefill이 300~400 정도로 느린 게 아쉽긴 한데 에이전틱 작업엔 진짜 좋은 모델임

Strix Halo에서 그거 어떻게 돌리는 거임? 가중치 아직 안 나오지 않았나?

난 35B-A3B가 M4 Max에서 prefill이랑 생성 둘 다 훨씬 편하더라

prefill은 캐싱 잘하면 버틸만한데 컨텍스트가 문제임. Qwen 27은 KV 캐시 공간을 엄청 먹어서 128GB Halo/Spark면 몰라도 일반 GPU에선 12만 토큰마다 압축하느라 고역임

오픈웨이트 모델인데 왜 GPT5.6이랑 가격이 거의 같음? $1.14 vs $1.23이면, 자기 하드웨어에 못 돌리는 이상 GPT 안 쓸 이유가 없지 않나

더 좋으면 그걸로 충분하지 않나? 여러 프로바이더가 호스팅하면서 가격 경쟁할 거고, 한 회사나 정부가 마음대로 없앨 수도 없음. 파인튜닝도 자유롭고

오픈모델 쓰는 프로바이더는 맘대로 가격 못 올림, 경쟁자한테 밀리니까

모델 크기랑 하드웨어 얘기잖아. 큰 모델은 최적화해도 비쌀 수밖에 없음

그냥 파라미터 1조 넘는 덩치 큰 모델이라 운영비가 원래 비싼 거임

Qwen Max는 대형 모델(1조 파라미터 이상)이고 Kimi K3랑 비슷한 급이야. Qwen 3.8 27B가 자체 호스팅하기엔 훨씬 접근성 좋을 듯, Max는 대부분한테 셀프호스팅 대상이 아님

GPT5.6 Sol은 7천만 토큰으로 끝내는데 Qwen3.8Max는 1억4500만 토큰 씀. 추론 토큰을 왕창 써서 지능 점수 올리는 부류고, Deepseek V4 Flash 같은 건 작업당 $0.03으로 50배 싸게 가는 다른 경쟁 노선임

오픈웨이트가 왜 가격이랑 상관있어야 함? 비용은 모델 개발비보다 돌리는 비용에 달린 거잖아

렌탈 GPU에 큰 모델 돌리는 게 그래도 채팅 로그를 FAGA한테 넘기는 것보단 훨씬 프라이버시 나음

실제로 써보니 믿을만함. Qwen이랑 Kimi K3한테 똑같은 까다로운 간헐적 버그 잡아보라 시켰는데, Kimi는 기존 코드 이해는 좀 나았지만 Qwen이 진단 도구까지 만들고 로그 통계 분석해서 진실에 더 가까이 갔음

나는 반대 경험임. 여러 프로젝트에 써봤는데 부실하더라. 명시적으로 시키지 않으면 테스트도 안 짜고, 과제 이해도 잘못하고, 코드도 깨진 채로 두고 감. 똑똑하고 빠르긴 한데 안정적이진 않음

지능/속도/비용 합산 점수라서 그런 거임. 순수 지능만 보면 Qwen은 상위 10위에도 안 듬

다른 중국 모델들(Deepseek 4, GLM 5.2, Kimi K3)도 똑같은 패턴이었음. 잘할 때는 Opus나 GPT에 근접하는데 편차가 훨씬 커서 프롬프트를 더 길게 써야 하고 왔다갔다 더 많이 해야 함