Thinking Machines, 루프 구조 로컬용 Inkling 2 Mini 공개 소식에 해커뉴스 반응 뜨거움
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- 댓글에 따르면 Inkling 2 Mini는 루프 구조(looped architecture) 모델이고 llama.cpp에서 이를 지원하는 PR이 진행 중임
- 댓글 작성자들은 MoE 구조라 활성 파라미터가 적어 Qwen 3.6 35B A3B와 비슷한 성능대에서 더 빠른 디코드 속도가 나올 것으로 봄
- Unsloth가 이미 GGUF 양자화 버전을 공개함
- 한 댓글은 Reddit 게시글을 인용해 모델이 nvfp4로 end-to-end 학습되고 1비트 양자화에서도 top-1 90%를 유지한다고 전함
Hacker News 의견들
벤치마크 보니까 small 버전이 수치보다 더 똑똑하게 느껴짐. 연구 쪽으로는 varloop 변종이 더 궁금함. 그런 오픈소스 루프 모델은 아직 본 적 없음.
unsloth가 벌써 GGUF 올려놨더라. 활성 파라미터 보면 Qwen 3.6 35B A3B 정도 성능대라고 봐도 될 듯. llama.cpp는 루프 지원 PR 머지를 기다려야 함.
Inkling이 글쓰기는 최고인 듯. 코딩은 DeepSeek 쪽이 낫더라. 내 장비에선 둘이 역할 바꿔가며 씀.
Qwen3.8-27B급이면 루프 트랜스포머로 그 정도 나온 게 대단함. 벤치 그대로면 좋은데 실제로 돌려보면 달라질 수도 있지.
7900XTX에서 Qwen 27B랑 비교해볼 생각임. MoE라 디코드 속도는 훨씬 빠를 텐데 성능이 비슷하면 괜찮을 듯.
루프 트랜스포머를 공개 모델로 낸 건 처음 보는 것 같음. OpenAI도 쓴다는 말이 있던데 확인은 안 됨.
SensaNova도 루프 모델 냈던데 수치가 꽤 놀라움. 루프 모델 붐이 오는 듯.
MoE에 에이전트 여러 개가 각자 KV 캐시 들고 VRAM에 올라가는 게 핵심이라 봄. 로컬 멀티에이전트에 첫 실용 모델이 될 수도 있음.