계층적 코드로 텍스트를 병렬 생성하는 NCM, 확산 모델보다 최대 31배 빠름
- 스탠퍼드 크리스토퍼 레 팀이 Next-Concept Modeling(NCM)을 공개함. 다중 스케일 잔차 VQ-VAE로 텍스트를 계층적 이산 코드로 인코딩하고, 트랜스포머가 한 레벨씩 모든 코드를 병렬로 예측하는 2단계 coarse-to-fine 구조임
- 동일 파라미터 규모에서 LM1B 생성 퍼플렉시티가 최강 확산 언어모델 베이스라인보다 좋으면서 21배 빠름. OpenWebText는 경쟁력은 비슷하고 10배, XSum은 ROUGE-L이 같으면서 31배 빠름
- Sudoku 추론 과제에서는 모든 난이도에서 자기회귀 및 확산 베이스라인을 앞서고 함수 평가 횟수도 더 적음
- 논문은 기존 확산 언어모델의 약점으로 샘플링 스텝을 줄이면 품질이 급락하는 점, 매 스텝 전체 시퀀스를 처리하는 점, 좋은 품질까지 데이터셋을 여러 번 통과해야 하는 점을 듦
- arXiv 2610.14162로 2026년 10월 9일 제출됐고 저자는 Hermann Kumbong 등 9명임
Hacker News 의견들
이걸로 제대로 된 대형 코딩 모델 학습시켜볼 사람 없나. 난 GPU가 없어서 엄두도 못 내겠다.
Apple Silicon이 언젠가 GPU랑 맞먹으면 좋겠는데, 추론만 보면 엔비디아랑 비교도 안 되더라. prefill에서 5배 넘게 차이 나는 경우도 있고. 타일 기반 모바일 아키텍처라 한계가 있는 것 같음.
논문 관련 영상 하나 링크해둔다.
직접 돌려보려고 하는데 아직까지 성공을 못 했다.
NCM이 LLM이랑 엔비디아 메모리 칩을 끝장냈다는 클릭베이트 영상만 계속 뜬다. LLM이라는 이름은 크고 언어를 다룬다는 뜻일 뿐, 자기회귀여야 한다거나 특정 아키텍처여야 한다는 뜻이 아닌데. NCM은 큰 토큰 하나에서 작은 토큰 둘을 뽑는 계층적 확산 트랜스포머에 가까워서 일종의 평가 전략임. 이름에 next가 들어간 것부터가 별로라고 본다.
그 사람들은 LLM이 뭔지도 다른 LLM한테 스크립트 써달라고 물어보고 배우는 것 같다.
이미지나 비디오 압축, 파티셔닝에서 얻은 통찰을 이런 차원 마스킹에 적용할 수 있을까?
참신하긴 한데 새 토크나이저에 새 학습 방법이면 재학습 비용이 만만치 않다. 실제 프론티어 성능이 어디까지 나오느냐에 달려 있겠지.
times 대신 × 쓰는 게 은근 거슬린다. 수학 표기는 산문이 아니고 산문에 갖다 쓰면 안 된다고 대학에서 제일 먼저 배웠는데.
그럼 was taught 대신 got taught 쓴 거랑 but 앞 쉼표 빠진 건 그냥 넘어가는 건가.
10×에 붙은 10도 수학 표기로 쳐야 하나, 아니면 ten times라고만 써야 하나.