문샷 AI, 2.8T MoE Kimi K3.1 Pro 가중치 공개: 활성 104B에 104만 토큰 컨텍스트

open intelligence라고 홍보하는데 집에서 돌리려면 8x B300 노드급이 필요함. 블랙프라이데이 오면 좀 내려가려나 싶지만 당분간은 dual RTX PRO 4000에 qwen3.8-27B NVFP4로 버텨야겠음.

AMD 개발자 클라우드에 MI300x 한 장으로 K3 돌리는 이미지가 있음. 시스템 램으로 오프로딩하면 꽤 쓸만하다고 함. 나는 아직 GPU 접근 승인 대기 중이라 직접 확인은 못 했음.

컨텍스트 450k가 진짜 필요함? Claude나 OpenAI 쓸 때도 200k 아래로 유지하고, 로컬에선 프리필 아끼려고 더 낮춤.

192GB 램에 SSD 스트리밍으로도 돌릴 수 있음. dense 부분이 원래 정밀도로 115GB쯤이고 나머지는 KV랑 자주 쓰는 expert 캐시로 채우면 됨. 느리긴 해도 고부가 작업엔 충분함.

이 크기 모델은 취미용이 아님. 이미 랙을 갖춘 연구소, 추론 제공자, 온프레미스로 써야 하는 회사가 대상이고 매출이 일정선을 넘으면 라이선스 비용을 냄.

오픈 웨이트의 장점은 한 제공자에 묶이지 않는 것임. OpenRouter로 최저가 제공자에 라우팅하고, together.ai에서 데이터 보존 끄고 씀. abliterated 모델도 오픈소스라서 가능한 선택지임.

DeepSeek V4.1 Flash랑 별 차이 없어 보임. Hy4가 내부 벤치를 잔뜩 공개했는데 K3.1은 거기서 점수가 안 높음. benchmaxxed 같음.

그건 더 심각함. r40.org 논문을 보면 테스트셋으로 그냥 학습한 듯. 추론 프리필에 지시 목록을 요청하면 K3.1은 65% 답변에서 숨은 요구사항을 언급하는데 K3는 18%임.

벤치만 보면 안 됨. K3는 Design Arena 오픈 웨이트 1위를 오래 지켰고 이건 실제 사람 선호라서 속이기 어려움. DS4.1F는 같은 작업에 토큰을 5배에서 10배 씀.

우린 Kimi 2.8을 MI300A 4장 서버(약 11만 달러)에 올려서 애널리스트 30~40명이 동시에 씀. 기존 Claude 지출 대비 2주면 본전 뽑고, 어떤 SaaS보다 우리한테는 빠름.

3T 파라미터라니. 나는 Claude Code 워크플로를 Kimi로 꽤 갈아탔음, 너무 비싸졌거든. Fable이나 Opus는 몇 T인지 궁금함.

중국 랩들은 fable/mythos가 10T+라고 보고 다음 qwen/kimi/ds/glm을 그 급으로 맞추려는 듯. 뭐 증명된 건 아니지만.