PrismML, 폰에서도 돌아가는 27B급 모델 'Bonsai 27B' 공개... 1.125비트까지 압축

1비트라고 해서 진짜 1비트인 줄 알았는데 사실 세 가지 값(+1,0,-1) 쓰는 거 처음 알았음, 이거 1.58비트 아니야?

그건 최초의 '1비트' 모델 때부터 내려온 관행이라 좀 애매한 거임. Bonsai는 ternary(1.71비트)랑 진짜 binary(1.125비트) 버전 둘 다 따로 나온 거임.

Unsloth UD_Q2 버전 돌려보면 사실상 이 1-bit 모델 수준으로 나오는데, tool-call 5% 하락이 실제 사용에서는 훨씬 크게 느껴짐.

BFCLv3 멀티턴 결과를 잘 봐야 함, 그게 이 quant들이 얼마나 자주 무한 루프에 빠지는지 알려주는 지표임.

이거 앱인가? 앱스토어에서 이미지 툴 본 것 같은데.

이건 LLM 모델이고 HuggingFace에 올라와 있음, Locally AI 앱에서 돌릴 수 있는데 아이폰 17 Pro/Pro Max가 필요함.

LM Studio에서 GGUF랑 MLX 둘 다 받아서 돌려봤는데 로딩이 안 됨.

PrismML 커스텀 llama.cpp 포크로는 잘 돌아감, 근데 27B는 reasoning loop에 자주 갇히는 느낌이고 M1 Max에서는 아직 MoE Qwen3.6이나 Gemma4가 더 나은 듯.

16GB GPU에 1.125비트로 최대 몇 B까지 올릴 수 있을까? F16 사이즈가 파라미터 수의 2배 정도니까 대충 계산하면 110B 정도까지 될 것 같음.

Ornith 9B도 써봤는데 Qwen 9B보다 살짝 나은 정도였음.

Qwen3.5 9B는 thinking 모드가 없는데 3.6 27B는 되고 꽤 verbose함, 그리고 이건 1bit LLM이랑 직접 관련은 없음.

llama.cpp 구현이 아직 최적화가 안 됐는지 몰라도 35B-A3B Q4_KM+MTP CPU 오프로딩보다 훨씬 느림.

이런 작은 AI 랩들 비즈니스 모델이 뭔지 궁금함, 오픈소스로 무료 배포하면서 어떻게 돈 버는지 모르겠음.

페이지 밑에 보면 Samsung이 투자자로 있음, 아이폰 대항하려고 자체 폰에 탑재하려는 거 아닐까 싶음.

오픈소스는 그냥 GTM 전략일 뿐임.

Apple이 PrismML과 논의 중이라고 CNBC에 나옴.

CEO가 직접 CNBC에 그걸 말한 거라 이건 그냥 구라거나, 아니면 스스로 관계를 깨버린 거임.

Android에서 돌려봤는데 답변이 그냥 !!!!!!!!! 로만 나옴.

quant를 너무 심하게 해서 그런 거임, Qwen 계열 모델이 이런 실패 모드를 자주 보임.

이 블로그 포스트 전체가 AI가 쓴 것 같음.

AI 관련 일하는 사람들이 AI를 안 쓸 것 같음?

이 연구는 유용하지만 이 모델 자체는 거의 쓸모없을 것 같음.

써보지도 않고 그런 말을 왜 함? 명확히 쓸모 있고 기대 이상으로 잘 돌아감.

Ternary 모델 스케일업을 1년 넘게 기다려왔는데 드디어 나와서 기대됨, 원래 27B는 로컬에서 돌리기엔 너무 무거웠음.