10개월 걸려 만든 LLM 학습 프레임워크 Jam, GPU·커널 최적화 입문서로 정리
- 2025년 12월 시작한 LLM 강화학습 프로젝트가 약 10개월 뒤 Jam 프레임워크로 커졌고, 이 글은 그 구조 설명은 다음으로 미룬 채 GPU 아키텍처와 커널 최적화만 다루는 시리즈 첫 편임.
- FP32는 지수 8비트·가수 23비트, FP16은 5·10, BF16은 8·7, FP8 E4M3은 4·3, E5M2는 5·2로 놓고 범위와 정밀도 차이를 설명함.
- 글에 나오는 커널 대부분을 최신 LLM(5.6 Sol, 6 Astra)이 몇 시간에서 며칠씩 붙잡고도 해결하지 못했음.
- JAX 컴파일러·런타임 플래그처럼 프로그램 밖 설정이 성능을 크게 좌우한다며, 프로파일 수집법과 플래그를 정리한 에이전트용 별도 페이지를 함께 공개함.
- GPU 아키텍처와 분산 연산에서 출발해 LLM 추론으로 넘어간 뒤 프로파일링, 실제 커널 최적화 사례, LLM으로 커널을 개발하는 최근 작업 흐름 순으로 구성함.
Hacker News opinions
커널 벤치마크나 평가 얘기가 한 줄도 없는 게 제일 이상함. 요즘 잘 나가는 GPU 커널은 대부분 생성하고 힐클라임해서 만드니까 오차가 제일 크게 나는 데가 거기임. 핫 캐시 기준인지 콜드 캐시 기준인지, 레퍼런스랑 비트 단위로 같아야 하는지, 열 노이즈 피하려고 몇 번씩 돌리는지 다 애매하잖아.
그럼 임계값은 대충 어떻게 잡아? 레이어별로 l2norm 99%가 1e-4 안에 들게 같은 식으로 걸러야 하나, 아니면 그냥 태스크 평가로 바로 가는 게 맞나?
이상할 것도 없음. 이 글은 자율 에이전트로 힐클라임한 얘기가 아니라 사람이 LLM 붙잡고 커널 다듬은 얘기니까.
글 진짜 잘 썼는데 LLM 쓴 거 아님? 오타 몇 개 튀는 거 보면 본문은 사람이 쓴 것 같긴 함.
다이어그램만 LLM 도움 받았을 거고 본문은 사람이 쓴 듯. 페이지 디자인은 그냥 Claude 기본 디자인이고.
HBM이 칩에서 제일 느린 메모리라는 대목은 좀 걸림. HBM은 칩 밖에 있고 공유 메모리나 레지스터랑 같은 선상에서 비교할 게 아님.
이런 건 책으로 한 권 나와야 함.
AI Systems Performance Engineering by Chris Fregly가 딱 그런 책이더라.