Ultramarine 1 Flash 공개, GLM-5.3 Flash 기반 지식노동 모델이 Fable급 성능을 주장함
- Ultramarine 1 Flash는 금융, 법률, 컨설팅, 운영 등 지식노동에서 Fable급 성능을 내면서 가격은 Fable보다 60배 저렴함
- 태스크당 $0.13으로 Claude Fable 5(max)의 $8.19, GPT-5.6 Sol(max)의 $2.09보다 싼데도 점수는 더 높음
- 기반 모델 GLM-5.3 Flash 대비 여섯 개 벤치마크 전체에서 출력 토큰을 6.5% 적게 생성함
- 모델 가중치는 아직 공개 전이고, API 가격은 100만 토큰당 입력 $0.15, 출력 $0.50으로 GLM-5.3 Flash와 같음
- 비교 점수 상당수는 회사 내부 벤치마크 PI Knowledge Work에서 나왔고, 이 벤치마크와 Artificial Analysis Intelligence Index의 상관계수는 0.81임
Hacker News opinions
프론티어 모델이면 Fable이나 Astra, Opus 5.5 정도를 말하는 줄 알았는데, 이 점수는 Luna(Max)랑 비슷해서 헷갈림.
요즘은 보통 비용 대비 성능의 파레토 프론티어를 뜻함. 그 가격대에서 제일 좋은 성능이라는 뜻이지.
코딩 쪽은 포커스가 아니었던 듯. DeepSWE가 61.5인데 베이스인 GLM 5.3 Flash는 63.4임.
결과 섹션에서는 자기보다 모든 지표가 나은 모델을 빼고 비교함. Fable 5.1, GPT-6 Astra, Opus 5.5는 안 보여주다가 비용 그래프에서는 다 튀어나옴. 자기를 2등으로 적는 정직함이 필요함.
GLM 5.3 Flash 기반으로 파인튜닝한 모델이 요즘 유행인데, Thomson Reuters의 thomson-1.0이 문서 분석에 쓸만함. 그 모델이랑도 같은 벤치마크로 비교해 봤으면 좋겠음.
결정적 평가가 있는 코딩 같은 건 싸게 여러 번 돌려서 이기는 방식이 통하는데, 주관적인 전문 업무에는 그게 안 먹힘.
Office 문서를 만든다는데 어떤 하네스에 물려야 하는지 모르겠음. Feather 링크가 있던데 트위터 영상 보니 그걸 쓰는 듯.
DeepSeek이 그래프에서 높은 게 신기함. 월 $5 수준으로 싸서 그런데, 싸다는 건 그만큼 누군가에게 데이터를 주고 있다는 뜻이라 생각함.