샤오미 MiMo 2.6, RL 포스트트레이닝 과정을 실시간 대시보드로 공개
- 샤오미가 MiMo 2.6의 RL 포스트트레이닝 과정을 실시간 대시보드로 공개함. mimo-v2.6-pro와 mimo-v2.6-flash 두 모델의 step별 지표가 스트리밍되고, avg@n은 pro 0.614(▲0.024), flash 0.603(▲0.006)을 기록 중
- 측정 지표 수는 pro 3,358(▲1,183), flash 2,042(▼401)이고 목표치는 1,568로 고정됨. 벤치 태그는 code 33, visual 18, general 12, chat 9, cyber 3 등 총 83개
- DeepSWE 1.1에서 2.6-pro가 step 10에서 63.7%, flash가 step 12에서 60.7%를 찍음. 같은 벤치의 MiMo-v2.5-Pro는 19%였고 Fable 70%, Kimi K3 69%, Astra 74%와 비교되는 수치
- 2.6 Pro 학습은 2026-09-15 10:32 UTC에 시작됐고, 페이지 하단에는 'Open is what we value'가 적혀 있음
- 댓글에서는 학습 중 벤치마크 사용이 검증셋 과적합, 즉 벤치맥싱으로 이어진다는 지적이 나옴. 중단 기준으로 쓰면 벤치 점수가 조금씩 올라간다는 설명
Hacker News opinions
다른 랩들도 이런 거 좀 따라했으면 좋겠다.
근데 왜 다른 모델 회사들은 안 하는 걸까. 학습 시간이나 속도, 처리한 토큰 수로 닫힌 모델 크기는 대충 추정되니까 굳이 안 열어주는 것 같고, OpenAI랑 Anthropic은 서로 눈치 보는 것도 있을 듯. 한쪽이 모델 내면 몇 시간 뒤에 더 좋은 게 나오는 상황을 피하려고.
학습 데이터 3분의 2가 소스코드인 줄은 몰랐네.
그건 RL 런이고 프리트레이닝이 아님.
멋지긴 한데 Anthropic이나 OpenAI는 절대 안 할 거다. 미국이나 EU 회사보다 중국 회사가 더 열려 있는 세상이 됐음.
증류 의혹을 미리 막으려는 거 아님? 페이지 맨 아래에 'Open is what we value'라고 적혀 있더라.
학습 중에 벤치마크 돌리는 게 오염 아님? 요즘 대형 랩에서 흔한 건가?
체크포인트 평가용으로 쓰는 거고 학습 데이터로 넣는 건 아님. RL 런에서는 흔한 관행임.
검증셋으로 쓰면 스톱 기준이 될 때 살짝 과적합됨. 벤치맥싱이 생기는 이유 중 하나고, 최신 모델이 항상 벤치에서 조금씩 더 나오는 것도 그 때문.
2.6 Pro가 2026-09-15 10:32 UTC에 시작했다고? 학습이 훨씬 오래 걸리는 줄 알았는데.
이건 포스트트레이닝 RL 단계임.
MiMo-V2.5로 소프트웨어 엔지니어링 작업 대부분을 처리 중인데 ROI가 정말 좋다. 환각 루프가 한두 번 있었지만 멈췄다 이어가면 해결됨. 비용 넣고 계산하면 Anthropic 모델 쓰던 때랑 지능은 비슷한데 가격이 한 자릿수 배 차이.
난 mimo v2.5가 파이썬 스크립트 같은 단순 작업엔 되는데 qwen 3.8-flash-next보다 확실히 dumb했음. GLM 5.2나 5.3 급은 아님. 빠르지만 기본 실수를 나중에야 발견하게 됨.
Claude로 돌리는 거 아니냐는 소리는 UI 스타일 때문인데, Claude는 'what each step's samples are made of' 같은 문장을 못 씀. 전부 대문자에 패딩과 그라디언트를 넣었을 거다.
중국 랩들이 미국 랩을 놀리는 수준이다. 미국 랩은 재미있는 거 안 만드나?
AI는 매니저가 모델을 정하지 개발자가 정하는 구조라서 미국 랩이 오픈소스에 신경 쓸 이유가 없음.
MiMo-V2.5-Pro가 DeepSWE 1.1에서 19%였는데 2.6-pro는 step 10에서 63.7% 찍었고 flash도 step 12에서 60.7%까지 왔음. Fable 70%, Kimi K3 69%, Astra 74%랑 비교하면 대단한 거다.
2.5-pro는 프로젝트에 새로 온 건망증 심한 시니어 엔지니어 같았는데, 다음 모델은 멀티태스킹이 확실히 나아졌음. 잘 정의된 이슈면 손을 거의 안 대도 됨.
실시간 증류라니 흥미롭네.
그 '훈련 비용'이라는 건 사실 Anthropic이랑 OpenAI API 호출 매출 카운터라는 농담도 나옴.