Cartesia, 바이트 수준 H-Net 확장 법칙 공개: 학습된 토큰화만으로 컴퓨트 3-5배 절감
- Cartesia가 1단계 H-Net을 토큰화된 Transformer와 같은 조건에서 비교해, 학습된 토큰화만으로 3-5배 컴퓨트 효율을 얻음
- 더 유연한 2단계 H-Net은 동급 오픈소스 모델을 10배 적은 컴퓨트와 데이터로 능가함
- H-Net은 언어 모델에서 보기 힘들었던 인컨텍스트 토큰화 같은 새로운 행동을 학습함
- H-Net은 바이트를 재귀적이고 데이터 의존적으로 청킹해 토큰화를 모델 안으로 가져오며, 생물학과 비전에서도 연구가 진행 중임
- H-Net 개념은 2025년 arXiv 2507.07955로 처음 공개됐고, 2편에서 더 넓은 모델 범위로 효율 원인을 파고들 예정임
Hacker News 의견들
The_end_of_tokens를 두 단계로 쪼개는 예시 보니까 하스켈 퀵소트 토큰화가 떠올라서 웃기더라. 청킹을 그림으로 보여주는 방식은 꽤 직관적임.
솔직히 이건 NLP가 BPE로 해온 최적화를 거스르는 얘기임. 큰 데이터에서 반복과 중복을 활용하는 게 BPE인데, 코딩이나 영어에 이걸 붙이면 멀티캐릭터 패턴 쓰는 토크나이저보다 성능이 떨어지고 디코딩도 훨씬 느림. 프론티어 모델에 32 토큰 spec decode까지 나오는 판이라 범용으로 쓰기엔 애매하고, 결국 대용량 테이블 데이터 같은 특수한 도메인이나 찾게 될 텐데 그럴 거면 polars나 sql, arrow 쓰는 게 낫지.
이 아이디어의 핵심은 얼마나 범용적이냐임. 이미지에서도 동작하는 예시를 보여줬고, 모달리티마다 전처리 방식을 통일하는 건 멀티모달 지능을 키우는 데 꽤 유용함.
이 아키텍처도 멀티캐릭터 패턴을 쓸 수 있음. BPE랑 다른 건 그게 하드코딩되지 않는다는 점이고, speculative decoding도 그대로 쓸 수 있음. 더 나은지는 실제로 재봐야 아는 거고.