Qwen, Qwen4 선행 구조 담은 6B 활성 MoE Flash-Next 가중치 공개

DeepSeek V4 Flash보다 나아 보임.

활성 파라미터가 작은 MoE인데도 벤치마크 수치가 꽤 인상적임.

Qwen 소식을 매일 속보처럼 올릴 필요가 있나 싶음.

Qwen4를 예고하는 새 구조고, Qwen3.7-Plus의 약 1/9 학습비로 전반적 성능을 넘었다는 주장이라 이번 건은 다름.

AMD AI나 애플 맥에서 로컬로 돌리는 사람에게는 앞으로 몇 달 작업에 블로그 글보다 더 직접적인 소식임.

Qwen3.6 35B A3B에서 넘어갈 만한 릴리스 같음. 메모리는 충분하지만 연산이 약한 환경에 맞을 듯하고, 6장 Nvidia L4에서 vLLM로 돌릴 수 있을지는 직접 시험해봐야겠음.

이번 모델은 Qwen4 구조의 미리보기라는 점이 흥미로움. N-gram을 처음 공개 적용한 듯하고, 27B보다 빠르고 싸게 서빙할 MoE라 맥이나 Strix Halo 같은 대체 연산 장비에도 맞을 것 같음.

3.8 27B를 이렇게 확실히 이길 줄은 몰랐음. 2026년 8월에 5천 달러 맥북에서 초당 30토큰으로 Opus 4.6 Max급을 자가 호스팅한다는 얘기는 꽤 놀라움.

그 비교는 싫음. 인상적인 모델이어도 더 큰 모델 수준의 세계 지식을 전부 가진 건 아니고, 지능의 상당 부분을 가져온 쪽에 가까움.

호스팅 모델과 비교하면 GPT 5.6 Luna는 DeepSWE 67%, 이 모델은 59%임. Luna 가격은 입력과 출력 각각 \$0.20, \\$1.20이고 Qwen은 \$0.16, \\$0.47임.

내 홈랩에는 넣어볼 생각임. 작은 모델처럼 과하게 생각하지 않고, 좀 더 직접적으로 추론했으면 좋겠음.

중국 모델은 이제 원시 벤치마크 점수보다 토큰 효율 분석이 먼저 궁금함.

테스트 시점 연산에서 이른바 과잉 사고는 모델이 여러 번 처리하며 활성화 잔차를 다듬는 부분도 큼. 사고 토큰을 의미 없는 점으로 채워도 성능이 오르는 연구가 있음.

실사용에서는 과잉 사고가 작업마다 다르더라. 열린 문제에서는 Qwen이 재검토를 많이 하지만, 요구사항이나 절차가 분명하면 짧고 직접적으로 답해서 전체 작업 완료 시간이 늘었다고 느끼진 않았음.

지금은 llama.cpp나 vLLM 메인 버전에서 쉽게 돌리기 어렵더라. 새 아키텍처 지원이 아직 없었음.

vLLM 전용 릴리스와 실행 레시피는 이미 나왔음. llama.cpp와 vLLM 메인라인 지원도 1일에서 3일 안에는 들어갈 듯함.

DeepSeek Flash보다도 가격이 낮아 보였는데, 게시글 하단 수치를 다시 보니 DeepSeek 0723은 100만 토큰당 입력 \$0.03, 출력 \\$0.075라 Qwen보다 쌈.

Unsloth Desktop에 올라왔고 1비트 양자화본은 72.5GB임. 다만 llama.cpp가 아직 GGUF 아키텍처 qwen4exp를 지원하지 않아 업데이트를 기다려야 함.