Gemma-4-26B 생각 토큰을 평균 38.9% 줄인 ThinkingCap 공개, 정확도 하락은 0.15pp
- ThinkingCap은 구글 gemma-4-26B-A4B-it의 생각 토큰을 12개 벤치마크 평균 38.9%, 최대 69.1% 줄이고 평균 정확도는 0.15pp만 떨어뜨림
- 반복 출력(looping) 응답 비율이 원본 3.6%에서 0.8%로 줄었고, 샘플링 설정과 vLLM 서빙 스택을 그대로 둔 드롭인 대체재임
- 정확도 손실이 가장 큰 곳은 aa_lcr로 4.00pp 떨어졌고, longbench_v2는 오히려 1.45pp 올랐으며 생각 토큰은 69.1% 감소함
- 유료 버전인 ThinkingCap PRO는 생각 토큰을 최대 87.6%, 평균 62% 줄인다고 밝히며 기업 문의는 이메일로 받음
Hacker News 의견들
나도 ThinkingCap이랑 Qwen-3.8 27B 버전 써봤는데 솔직히 똑똑함이 덜하더라. 토큰은 줄어드는데 내 작업에선 결과가 덜 인상적이었음. 최고 성능 뽑으려고 xhigh 돌리는 입장이면 아쉬움.
그건 나도 별로였음. 근데 Gemma 4 26B는 일반 채팅이나 흔한 코드 질문엔 꽤 쓸만함. 빠른 모델로 쓸 수 있을지 테스트해볼 생각임. 나는 아직 Muse Glimmer 주로 씀. Nemotron Bolt 74B/A9B MoE도 괜찮을 것 같은데 Metal에서는 아직 느림.
Qwen 3.8 27b는 답답할 정도로 느림. 사소한 질문에도 'let me think'가 10분씩 돌더라.