Meta, 입력 100만 토큰당 $0.10짜리 소형 모델 Muse Ember 공개
- Meta가 소형 모델 Muse Ember를 공개했고, Meta Model API에서 입력 100만 토큰당 $0.10, 출력 100만 토큰당 $0.50에 바로 쓸 수 있다.
- Artificial Analysis 지능지수에서 36점으로 Claude Haiku 5.5와 동률을 기록했고, 작업당 비용은 $0.116과 $0.136으로 Haiku 최고점(36.2, $0.411)의 약 3분의 1 수준이다.
- AutomationBench 37.8(Haiku 13.9, GPT-6 Luna 20.2), Agents' Last Exam 61.6, Terminal-Bench 4.0 40.9를 기록했지만 FrontierCode 2.0에서는 27.2로 Haiku 5.5의 34.9에 뒤졌다.
- Box, Cline, Oracle, Cloudflare가 초기 테스트를 진행했고 Cloudflare는 최대 30% 더 빠르게 돌았다고 밝혔다. Cline은 하네스의 서브에이전트 용도로 적합하다고 평가했다.
Hacker News opinions
추론 단계 6개(minimal, low, medium, high, xhigh, max)로 펠리컨 SVG를 그려보게 했는데, 이번엔 추론 토큰이 많을수록 그림이 좋아지던 상관관계가 깨지더라. minimal이 10 토큰으로 그린 게 제일 나아 보임.
SVG 하나로 모델 성능 재는 건 좀 아니지 않나. 벤치마크라 부르기엔 근거가 너무 약함.
이거 openrouter의 crouton alpha 스텔스 모델이었던 것 같은데.
Crouton Alpha 나도 꽤 썼는데 10턴 넘어가면 확 나빠지고 20턴은 못 쓸 수준이더라. 짧은 작업엔 좋음.
Luna 6은 벌써 두 달 된 모델이고 Luna 5.6은 네 달 전임. 새 소형 모델이 이기는 게 놀랍지도 않음.
Luna 6은 진짜 게을러. 내가 일을 해주길 기대하는 것 같음. 멍청한 모델들은 열심히라도 하지.
Luna Max 대신 Terra 6.1 Low 써봐. 51.3% 싸고 출력 토큰은 94.1% 적은데 지능지수는 1.56 높더라.
Meta가 아직 모델 얘기 하는 게 신기함. Llama 4 이후로 LLM 경쟁에서 거의 사라졌잖아.
그래도 다시 따라잡는 중임. Muse Wonder는 frontier 근처까지 온 걸로 알고, Llama 4 이후 처음부터 다시 시작한 걸 감안하면 빠른 편임.
Muse Wonder Full은 아직도 못 써봄. 그게 제일 짜증남.
거부 응답은 0점이 아니라 마이너스로 채점해야 함. 능력 부족이랑 거부를 똑같이 0으로 처리하면 구분이 안 됨.
가중치 공개 안 함? 아쉽네.
Meta는 싫음. 오픈 모델이면 그래도 윤리적으로 쓸 여지가 있는데.
PC 초창기랑 비슷해 보임. 결국 변호사용, 코더용, 회계사용처럼 전문화된 모델로 갈라질 듯.
그건 아닌 것 같음. 실제 업무엔 분야를 넘나드는 상식이 더 중요하고, 그건 MoE가 이미 해결함.
난 SWE 작업에 Haiku랑 Luna를 보조로 쓰는데, 더 싸고 비슷한 모델이 나온 건 반가운 소식임.
오픈 웨이트 아니면 중국 모델 나올 때까지 기다릴래. 근데 그 격차도 점점 줄고 있음.
DeepSeek 비교는 왜 없냐.