284B DeepSeek를 64GB RAM에서, GPU 없이: llama-modchip의 실체는 2비트 MoE 양자화

양자화가 몇 비트인지가 제일 궁금한데 README엔 그 얘기가 없어. 아마 2비트 같고, 그럼 출력 품질이 얼마나 나쁠지가 관건이지.

4비트 아래로 내려가면 진짜 별로임. 2비트면 실제 작업에 쓰긴 어려울걸.

요즘 '내 전등에서 초당 몇 토큰' 식 헤드라인이 레딧에 넘쳐나. 전부 4비트 미만 양자화라 실용성은 없는 경우가 대부분임.

나도 헷갈림. README가 슬롭이라 더 모르겠어. 76.87 GiB에서 56.56 GiB로 줄였다는데 unsloth IQ2_XXS GGUF는 91GB고 제일 작은 IQ1_S도 82.5GB임. 대체 어느 모델 숫자인지 모르겠음.

README가 AI 슬롭이라 짜증남. llama.cpp를 감싼 건데 플랫폼 가정이 안 보여서 내 환경에서 테스트해볼 가치가 있는지 판단이 안 됨.

128GB 통합 램이면 오히려 꽤 빠르게 돌릴 수 있음. antirez 영상 보면 코딩 에이전트로 쓸 만한 속도던데.

그 영상은 43개 토큰 처리에 4초쯤 걸리는 걸로 보이는데 코딩 에이전트한테는 느림. 500토큰짜리 작은 파일 하나면 1분 걸린다는 뜻 아님? prefill 300 t/s는 영상에도 답글에도 안 보임.

v4 flash 0731을 한참 썼는데 그 크기로 품질 좋다는 주장은 못 믿겠음. KV 캐시까지 온전히 쓰려면 150GB쯤 필요하고, 97GB Q2XS도 원본과 크게 갈라짐.

공격적 양자화는 성능이 비선형으로 떨어지고 4비트에서 크기 대비 성능 최적점이 나온다는 논문이 있음. 그 아래로 내려가면 성능이 확 떨어짐.

그 논문은 QAT를 범위 밖이라고 명시함. 요즘 고양자화 모델은 대부분 QAT를 쓰니까 논문을 일반화하긴 어려움.

그래도 2비트에서도 놀랍게 버티는 모델이 있음. 4비트로 아예 못 돌리는 환경이면 속도를 위해 정확도를 포기할 만함.

양자화는 층마다 다르게 아파함. 입출력층은 fp16으로 두고 가운데 층은 1~2비트도 괜찮다는 4 over 6 논문도 있음.

이런 AI가 쓴 페이지 읽기 힘든 사람 나뿐인가. 이건 LLM 요약 없이는 사람이 읽기 거의 불가능함.

이모지를 지워도 나아지지 않음. LLM 냄새가 너무 심해서 README는 직접 썼으면 좋겠음.

Strata, Project Maya, Ampere에서 FP8 3배 속도에 이번 것까지, 최적화 방향이 대단함. 계속 밀어붙였으면 좋겠음.

Qwen 쪽에도 이걸 적용해봤으면 좋겠음.

HN 댓글에서 본문보다 많이 배운 건 처음임. 양자화 개념을 앞으로 모델 평가할 때 계속 생각해야겠음.