Kimi K3.1 Pro 공개, 터미널 벤치마크에서 GPT-6 Astra 앞서고 가중치는 11월 4일 공개 예정
- Moonshot이 3T급 오픈웨이트 모델 Kimi K3.1 Pro를 공개함, 컨텍스트 창은 100만 토큰이고 가중치는 11월 4일까지 풀릴 예정임
- Terminal-Bench 4.0에서 K3.1 Pro가 65.7%를 기록해 GPT-6 Astra(58.2%)보다 높고 Claude Opus 5.5(66.4%)에는 근소하게 뒤처짐
- 고속 버전 K3.1 Pro Highspeed는 기존 모델보다 2~3배 빠른 응답 속도를 내며 함께 출시됨
- 3D 모델링 벤치마크 BenchCAD에서 도구 사용 시 92.7%를 기록해 Claude Opus 5.5(96.2%)와 GPT-6 Astra(95.9%)에 근접함
- 사이버 공격 능력은 프런티어 독점 모델보다 낮게 맞추고 사이버 관련 데이터를 학습 두 단계에서 제거함
Hacker News opinions
이거 프런티어를 민 게 아니고 Opus 5.5 수준에 그냥 붙은 거임. 어차피 중국 모델은 페이싱 합의 같은 거 한 적도 없음ㅋ
AA 점수는 아직 페이지에 안 올라왔는데 트윗 보면 55점에 전체 4위라고 함.
나는 아직 안 써봤는데 Kimi는 예전부터 벤치마크 점수에 비해 체감이 별로였음. DeepSeek, Qwen, GLM이 더 잘 나오더라.
벤치마크 부터 의심하고 보는 편임. 증명될 때까지는 벤치맥스 아니냐고 생각함.
Hallu Bench Hard에서 K3는 23.4%, K3.1은 8.3%면 환각 쪽은 꽤 크게 좋아진 거임.
일반 공개 버전은 미국 모델처럼 사이버보안 쪽이 깎여 있다니 아쉽네.
그래도 보안 용도로는 아직 GLM-5.3이 제일 많이 쓰이는 듯함.
사이버 데이터 뺀 건 나는 찬성임. 세상이 준비할 시간이 필요한데 빠른 공개는 그 시간을 없앰.
사이버 능력을 더 낼 수 있다면서 안 낸다는 건 결국 빼기 싫다는 얘기 아님? 미국 랩이 접근 제한하는 거랑 비슷한 구조임.
11월 4일에 가중치 풀리면 파인튜닝으로 사이버 쪽 성능 올리는 건 금방일 듯함.
정부 압박 때문에 방어용으로 이런 문단 넣은 것 같음. 나중에 모델이 사고 치면 변명거리도 되고.