DeepSeek V3 핵심 구조를 순수 JAX 190줄로 재구현, 맥북 에어에서 2.6시간 학습
- 작성자가 Multi-head Latent Attention, 보조 손실 없이 bias로 로드밸런싱하는 MoE, 멀티 토큰 예측 세 가지를 순수 JAX로 다시 구현해 모델 코드를 약 190줄로 줄임
- 36.2M 파라미터 모델을 맥북 에어 M5 24GB에서 jax-metal로 옛 탐정 소설 207권에 12,000스텝 학습, 2.6시간 소요
- 학습된 체크포인트와 데이터를 v1.0 릴리스에 MIT 라이선스로 공개해 학습 없이 텍스트 생성 가능
- 댓글에서 RX 7600 XT 16GB, Fedora, ROCm 조합으로 처음 end-to-end 학습에 성공했고 HSA_OVERRIDE_GFX_VERSION=11.0.0과 XLA_FLAGS=--xla_gpu_enable_triton_gemm=false 두 환경변수가 필요했다는 사례가 나옴
- 입문 로드맵으로 3blue1brown과 Welch Labs 영상, Karpathy의 zero-to-hero, jaxformer, nanochat이 추천됨
Hacker News 의견들
직접 만든 사람인데, DeepSeek V3에서 뭐가 다른지 알고 싶어서 MLA랑 보조 손실 없이 bias로 로드밸런싱하는 MoE, 멀티 토큰 예측 이 세 개를 순수 JAX로 다시 짰음. 모델은 190줄 정도고 36.2M 파라미터를 맥북 에어 M5 24GB에서 옛 탐정 소설 207권으로 12,000스텝, 2.6시간 돌렸더라. 체크포인트랑 데이터는 v1.0 릴리스에 올려놨으니 학습 없이 바로 생성해볼 수 있음.
이런 글 진짜 좋음. 처음부터 다시 만들어보는 것만큼 배우는 게 없지. 나도 Zig 좀 정리하고 나서 JAX 다시 만져봐야겠음.
샘플 출력까지 다 붙여놔서 읽기 좋았음. 다만 데이터셋은 남들이 쓴 걸 쓰는 게 결과 비교하기엔 낫더라. 나는 10M 이하 작은 모델 돌리고 있는데 여기서 배울 게 많음.
Fedora에서 ROCm으로 로컬 학습 붙이려고 몇 달째 씨름했는데 이게 RX 7600 XT 16GB에서 처음으로 끝까지 돌아갔음. 7600 XT는 HSA_OVERRIDE_GFX_VERSION=11.0.0 넣어야 gfx1102를 거부하는 걸 피하고, XLA_FLAGS=--xla_gpu_enable_triton_gemm=false 없으면 GPU가 멈추더라. 컨테이너 설정은 PR로 올려놨음.
Java랑 Python만 하는 사람인데 이런 거 이해하려면 뭐부터 봐야 되냐? 추론이 어떻게 돌아가는지 감을 잡고 싶음.
3blue1brown이랑 Welch Labs 영상으로 직관 잡고, Karpathy zero-to-hero로 직접 만들어보면 됨. jaxformer나 nanochat도 참고할 만하고, 원조는 역시 Attention is all you need 논문이지.
V4.1도 같은 방식으로 만들어볼 수 있냐?
C++로 옮긴 버전은 없나 궁금하네.