DeepSeek V4.1 Flash 1017 (Max), 지능 지수 45점으로 같은 급 2위지만 출력이 장황함
- DeepSeek V4.1 Flash 1017 (Max)가 Artificial Analysis 지능 지수 45점으로 비교 대상 121개 중 2위를 기록함 (중간값은 19점)
- 초당 227.1 토큰의 출력 속도는 같은 급 79개 모델 중 6위이고, 지능 지수 평가에 쓴 출력 토큰이 2억 1천만 개로 중간값 1억 4천만 개보다 많아 장황함
- 태스크당 비용은 0.26달러로 43개 중 21위이며, 입력 100만 토큰당 0.30달러, 출력 100만 토큰당 1.20달러로 책정됨
- 총 552B 파라미터에 토큰당 활성 파라미터 16B 구조의 MIT 라이선스 오픈 웨이트 모델로, 1M 토큰 컨텍스트 창과 텍스트 및 이미지 입력을 지원함
- 댓글 작성자들은 max 추론 모드가 high나 low보다 토큰을 두 배 가까이 쓰면서 성능 향상은 작다고 지적함
Hacker News opinions
536B에 활성 16B짜리인데 MiMo v2.6 Pro(978B+42B)랑 꽤 비슷하다는 게 재밌음. 절반 크기로 근접하고 속도도 좋은데 출력이 너무 장황한 게 아쉬움. 토큰 효율을 파인튜닝으로 잡을 수 있을지 궁금함.
활성 파라미터가 12B, 16B, 42B 순으로 많아지니까 속도도 그 순서로 느린 거 아님? 그게 당연한 결과 아닌가 싶음.
GPT 6.1 Sol medium은 태스크당 0.21달러에 2.9분인데 v4.1 Flash max는 0.26달러에 4.9분임. AA가 reasoning effort별 결과도 추가해주면 좋겠음. max로 돌리는 건 대부분 사람한테 현실적이지 않음.
AA 가격은 오픈 모델에 대해서 항상 뭉뚱그려진 느낌임. OpenRouter에서만 이 체크포인트가 0.15달러에서 1.20달러까지 8배 차이 나고, deepinfra 가격도 AA 계산이랑 안 맞음. 피크/오프피크 가격까지 들어가면 더 달라짐.
AA 자금 출처랑 제휴 관계가 궁금함. 벤치마크 쪽에서 손이 조금 들어가 있는 것 같음.
0910이나 0731 버전 테스트해보면 max가 high보다 토큰을 두 배 가까이 쓰면서 성능은 거의 안 오름. 그래서 나는 low(25/100)를 씀. low가 max의 1/3에서 1/2 토큰이라 가격이랑 속도도 그만큼 좋음.
128GB 램에 2080Ti 같은 가성비 소비자 하드웨어로 느려도 밤새 돌려둘 만한 지능이 나오는지가 제일 궁금함. 지금 기준으로는 안 될 것 같기도 함.
Mac Studio 128GB에서 DwarfStar로 DeepSeek V4 Flash 돌리는데 코딩 성능도 쓸 만하고 TPS도 괜찮음. 4.1은 SSD에서 가중치를 스트리밍하면 돌릴 수 있다고 들었는데 아직 안 해봄.
2x3090에 128GB 램이면 lxe/dsx로 30 t/s 정도 나오고 전체 지능의 75% 정도 나온다더라.
MiMo 2.6 Pro는 46점에 가격이 절반인데 왜 이 모델만큼 난리가 안 나는지 모르겠음.
OpenRouter에서 토큰 가격만 보면 MiMo 2.6 Pro가 약 4배 비싸던데, 그래도 v4.1 Flash 1017이 태스크당 그렇게 오래 걸림?