Inkling-2-Mini를 5.4 GB에 담는 GitHub 양자화 레포, 성능 주장은 독립 검증이 부족함
- Inkling-2-Mini를 5.4 GB까지 줄인 양자화 파일이 공개됐지만, 댓글에서 Unsloth UD-IQ1_S보다 KL 발산이 높다는 수치가 나와 성능 주장에 의문이 제기됨
- README는 Qwen3.5-4B를 1.2 GB 패킹 파일로 만들고 8 또는 16 토큰 블록을 한 번에 검사하는 드래프터 기반 추측 디코딩을 붙인 Apple Silicon 런타임을 담고 있음
- 최신 커밋은 KV threadgroup 경쟁 상태 수정과 Metal 디코드 튜닝이며, 11월 21일 기준 총 36개 커밋이 쌓여 있음
- 댓글에 따르면 gguf_compiler.py가 llama.cpp 텐서 타입으로 실행 계획을 출력하지만, llama.cpp에서는 아직 실행되지 않음
Hacker News opinions
imatrix랑 비교하면 어떤지 궁금함. 내 생각엔 더 나을 것 같은데 손이 훨씬 많이 가겠지.
이거 MX랑 애플 실리콘 전용임. 4090으로는 llama.cpp에서 안 돌아서 Qwen 파일 읽어보는 정도밖에 안 됨.
QAT 모델을 굳이 또 양자화하는 이유가 뭐임? 소셜 미디어 카르마 노리는 거 아님?
QAT는 양자화 오차를 학습 때 미리 넣어서 그 포맷에 맞게 양자화하면 모델이 덜 흔들리게 만드는 거임. 다른 포맷으로 줄이면 그 보호가 없는 거고.
근데 QAT 모델은 원래 양자화 잘 되라고 학습한 거 아님? 뭐가 문제인지 잘 모르겠음.
속도는 Qwen 27B의 3분의 1 정도밖에 안 나옴. 루프 트랜스포머 때문인지 커널 최적화가 덜 된 건지 모르겠음.
vllm 포크에서 살짝 손봤더니 7900XTX 두 장에서 더 빨라짐. 최적화 방식이 다른 거임.
RTX 4060 8GB 노트북에서 6.7 tok/s 나옴. Qwen보다 두 배 빠르고 실작업 돌릴 만함.
capy-flash랑 basalt 같은 서드파티 엔진은 100 tps 넘김. basalt는 5090에서 300 tps 나온다던데.
작은 메모리에 큰 모델 올린다는 랜덤 GitHub 레포는 조심하는 게 맞음. 그냥 Unsloth나 bartowski, AesSedai 양자화 쓰는 게 낫다고 봄.
50개 댓글에 234 포인트인데 써본 사람이 없다니, 어뷰징이거나 HN 품질이 떨어진 거 아님?