RAM보다 큰 MoE 모델을 SSD 스트리밍으로 돌리는 Janas, Windows 빌드까지 추가됨
- Janas는 C로 작성되어 C 라이브러리 외 의존성이 없고, 가중치는 디스크에 두고 NVMe SSD에서 토큰마다 필요한 전문가(expert)만 스트리밍해 RAM보다 큰 MoE 언어모델을 GPU 유무와 상관없이 일반 PC에서 실행함
- 자주 다시 쓰이는 전문가는 메모리에 남겨두며, O_DIRECT 기반 전문가 캐시로 이 과정을 관리함
- 모델 자체의 다중 토큰 예측 블록을 이용한 추측 디코딩(speculative decoding)을 지원함
- 2026년 10월 12일 릴리스에서 Windows 10과 11 x86-64 빌드가 추가됨. 저자는 개발용 노트북에서 Linux와 비슷한 속도가 나온다고 밝힘
- AVX2와 AVX-VNNI용 양자화 커널, 런타임에 로드되는 선택형 Vulkan 백엔드, 공개 C 라이브러리와 FreeBASIC 바인딩을 포함함
Hacker News opinions
62 tok/s 데모 보면 일반 채팅엔 충분할 듯. 근데 프리필이나 에이전트 작업은 60 tok/s로는 답 없음
측정 방식이 믿을만한지는 모르겠는데, 벤치 하나 보니 Codex 6.1 Sol Standard는 19.9 tok/s 나오더라
NVMe에 가속기 붙인 상용품은 언제 나올지 궁금함. 결국 GPU에 플래시 붙인 형태가 먼저일 듯. High Bandwidth Flash 나오면 그쪽이 맞을 것 같음
스트리밍 프로젝트가 여기저기 많은데, 핵심은 캐싱 알고리즘임. 모델마다, 프롬프트마다 달라서 아직 안 풀린 문제인 듯
Qwen 3.6이랑 3.8은 아키텍처가 똑같아서 이론상 그냥 갈아끼우면 됨. 왜 아직 3 세대 쓰냐는 사람은 좀 이상한 듯
Strata가 이미 Qwen3.8-Flash-Next로 이거 하고 있음. 나는 튜닝해서 쓰는데 만족도 높음
llama.cpp가 몇 년 전부터 하는 걸 또 새로 짜는 건 왜 그러는지 모르겠음. 문서가 부실해서 그런 듯
LLM이 GPU에 bf16 24GB를 16GB 카드에 올리려고 해서 드라이버 리셋으로 데스크톱 날아간 적 여러 번 있음. 그래서 VRAM 여유 남기고 할당 전에 체크 로직 넣어야 함
SSD 여러 개 붙인 GPU 카드 나오면 RAM 칩마다 먹일 수 있지 않을까. 이 방식은 아직 시작 단계인 듯