1.58비트 장벽 깬 BITCOS, 3진 LLM 가중치를 1.485비트까지 압축

와, 좋은 과학이다.

"1.58비트"라는 표현이 "1 트리트"보다 더 말이 되는 경우는 이때뿐인 듯. 정보 엔트로피를 실제로 들여다보면 더 조밀하게 담을 수 있다는 거잖아.

16GB VRAM에 최신 양자화 모델 하나 밀어넣으려고 나도 이걸 보고 있었는데 흥미롭네.

3진 양자화는 별 의미 없다고 봄. PTQ에서 이 비트 영역은 벡터 양자화랑 trellis 기반이 더 낫더라.

sub-2비트 LLM 원하면 고정밀로 학습된 모델을 가져와서 YAQA/QTIP에 finetuning이나 PV-tuning 붙이고 AQLM/HIGGS로 압축하는 게 낫다.

그건 좀 다름. 3진 LLM의 핵심은 속도라서, 가중치마다 덧셈 아니면 뺄셈 아니면 노옵이라 CPU에서 빠름. 코드북으로 f16 모델을 복원하는 건 전송 구간 이득밖에 못 챙김.

0이 51%인 걸 이용해서 1.58에서 1.48비트로 내린 게 neat하네. 3진 LLM이 커스텀 실리콘으로 굳으면 효율이 장난 아니겠다.

"잘 되면"이 정확도 손실 없이 된다는 뜻이면 그게 큰 조건임. 지금도 작은 블록 dynamic fp4에서 벤치마크 손실이 완전히 안 사라짐.

프레즌스 비트맵만 쓴다고? 산술 코딩으로 센티비트 몇 개 더 짜내는 논문을 하나 써볼 만하겠는데.

ASIC 최적화 모델에 딱 맞는 얘기임. BITCOS 포맷으로 행렬 연산을 실리콘에서 직접 지원하면 온디바이스 추론 전력 효율 기록이 나올 듯. QAT 하면 가중치 30%만 늘려도 품질이 비슷하다는 논문도 있음(arXiv 2402.17764).

log2(3)를 진짜로 넘어섰네. 임베디드용 LLM이 확 줄어들면 휴대성이 완전히 달라질 듯.