LFM2.5-24B-A2B 공개, 활성 파라미터 2B로 온디바이스 에이전트 겨냥
- LFM2.5-24B-A2B는 전체 24B 파라미터 중 토큰당 2B만 활성화하는 추론 모델로, 온디바이스 에이전트용으로 공개되어 Hugging Face에서 가중치를 받을 수 있음
- Qwen3.6-35B-A3B와 비교해 8개 에이전트·도구 사용 벤치마크 중 5개에서 경쟁력이 있고, AutomationBench에서는 27.69 대 8.72로 앞섬
- Apple M5 Max에서 184 tokens/s, 단일 NVIDIA B300 GPU에서 최대 21K 출력 토큰/s를 기록해 비교 대상 MoE보다 최대 1.7배 빠르다고 밝힘
- 컨텍스트 창이 32,768에서 131,072 토큰으로 늘었고, 어휘 사전은 65K에서 128K로 두 배가 되었으며, 사전학습 토큰은 17T에서 33T로 확장됨
- 이전 LFM2-24B-A2B와 달리 명시적 사고 사슬을 거치는 추론 전용 모델이며, Liquid는 디코딩 속도를 살려 답변 품질을 높이려고 이 방식을 택함
Hacker News opinions
AutomationBench가 정확히 뭘 테스트하는지 모르겠음. 다른 벤치마크에서는 로컬 모델들이랑 점수 차이가 별로 없는데 이것만 튀어서 의미가 궁금함.
내 생각엔 Liquid가 agentic RL 환경을 특정 도메인에 맞게 잘 짜놓은 결과일 가능성이 큼. 그래도 미국 랩이 소비자 기기에서 도는 서구 오픈웨이트 모델 중 1위를 하는 건 반가운 일임.
RTX 5070 Ti에서 llama.cpp로 튜닝 없이 돌려봤는데 200-320 tok/s 나옴. 지능은 아직 평가 못 했지만 작은 에이전트 모델 가지고 놀기 재밌음.
M5 Max에서 184 tok/s면 꽤 쓸만한 수준인데, 코딩 에이전트가 Claude나 Codex처럼 느껴지려면 대략 몇 tok/s가 필요함?
Claude Code는 60-80 tps, Codex는 모델에 따라 대체로 40-50 tps 정도임.
에이전트 코딩은 생성보다 prefill 속도가 더 중요하다고 봄. 하네스가 코드를 읽는 데 시간을 훨씬 많이 쓰거든.
SWE-Bench Verified에서 Qwen 3.6 35B-A3B보다 점수가 확실히 낮음. AutomationBench, ToolSandbox, LiveClaw 정도에서만 앞서더라. 내 용도에선 Qwen이 더 나음.
ghostty에 있는 간단한 todo 구현을 시켜봤는데 컴파일 에러 하나 고치면 다른 게 생기는 식으로 계속 뱅뱅 돌다 실패함. Qwen 3.8은 40 tok/s로 느렸지만 끝내긴 했음.
내 비공개 벤치마크에서는 일반 지식 문제를 Qwen 35B A3B보다 훨씬 못 풀었음. 그래도 Qwen 9B보다는 빠르고 나아 보임.
라이선스에 비상업적 사용 조항이 있는데 집행 가능성이 애매해서 헷갈림. 법률 검토를 좀 받았어야 했다고 봄.
훈련 비용은 중형 모델 기준으로 50만 달러에서 500만 달러 정도로 보면 됨. 다만 R&D 반복 훈련비는 외부에서 알기 어려움.