AMD MI300X 한 장으로 DeepSeek V4 Flash 서빙, 디코딩 168.6 tok/s 달성

DeepSeek-V4-Flash-0731 모델을 AMD MI300X GPU 한 장에서 서빙하는 프로덕션 스택 공개, vLLM ROCm 기반 compose 배포와 SHA-256으로 고정된 10개 정확성/성능 오버레이 포함
측정 결과 단일 스트림 디코딩 속도 median 168.6 tok/s, 튜닝된 prefill 처리량 7.9~8.5K tok/s 기록
원본 모델의 1M 토큰 컨텍스트 윈도우를 256K로 축소한 대신 양자화 없이 원본 가중치 그대로 서빙
AITER GEMM 튜닝 테이블과 vLLM/ROCm-triton/AITER 업스트림 대비 unified diff 패치를 함께 제공
HN 댓글에서 DeepSeek 자체 H800 벤치마크(DSpark 논문 기준 GPU당 15000 tok/s)와 비교하면 아직 최적화 여지가 있다는 지적 나옴

Hacker News 의견들

MI300X는 단품으로 못 사지 않나? 8장 들어간 박스로만 파는데 그게 25만 유로 정도 함.

AMD Developer Cloud가 Digital Ocean이랑 붙어서 시간당 $1.99에 온디맨드로 빌려주더라. 원본 가중치 그대로 DeepSeek V4 Flash 0731 돌리기엔 이게 제일 싼 방법 같음.

MI350p도 있는데 96GB짜리 antirez 믹스 정도는 잘 돌아갈 듯. 근데 그 가격이면 RTX Pro 6000 두 장이나 R9700 여덟 장 사는 게 나을 수도.

이베이에서 2만 달러쯤에 구할 수 있긴 한데 백플레인이 없어서 H200처럼 PCIe 어댑터 카드도 안 나와 있음.

이거 DeepSeek이 자기네 H800에서 내는 성능이랑은 아직 거리가 있음. DSpark 논문 보면 GPU당 15000 tok/s 나온다고 했는데.

GPU 여러 장 묶어서 wideEP로 돌리면 처리량이 초선형으로 늘어나서 1장짜리랑 비교가 안 됨. 근데 DSpark 논문 숫자가 진짜 H800 기준인지도 불확실함, 논문에 명시가 안 돼있어서.

MI300X는 OAM 모듈이라 안 됨, MI350P가 PCIe 카드라서 그거 써야 함. 메모리는 144GB로 적은데 V4 Flash의 256개 MoE 익스퍼트가 MXFP4 네이티브 양자화라 144GB에 들어감.

그게 말이 되나? vLLM에 가중치만 올려도 156GB 먹던데. 워밍업하고 KV 캐시 풀 붙이면 200GB 넘게 씀. 게다가 이 구현은 이미 원래 1M 컨텍스트를 잘라낸 상태고.

프론티어 모델들 파라미터 수가 대체 몇 테라야? Kimi-K3는 2.8T, Qwen3.8-Max는 2.4T, DeepSeek V4 Pro는 1.6T, DeepSeek V4 Flash는 284B (전부 total param 기준).

근데 왜 DwarfStar는 언급을 안 했지? 같은 모델을 더 적은 메모리로 돌리는데.

이 레포는 MI300X 전용이라 DwarfStar에는 그거에 맞는 최적화나 패치가 없어서 그럼.

'x에서 모델 돌린다'는 헤드라인은 보통 뭘 포기했는지 찾는 재미가 있는데, 이건 양자화도 안 했고 속도도 150 tok/s 넘게 나옴. 대신 원래 1M이던 컨텍스트를 256K로 줄였음, 이 정도면 꽤 실용적인 트레이드오프.

오픈웨이트 모델에서 익스퍼트를 통째로 제거하는 작업 해본 사람 있나? 코딩처럼 특정 용도면 세계사 지식 같은 건 필요 없으니까, 어떤 익스퍼트가 그 용도에 안 쓰이는지 알아내서 잘라내는 거.

2장짜리 MI300x로 우리도 비슷한 작업 해봤음, readme에도 링크 걸려 있음. hotaisle.xyz에서 MI300x 실험용으로 빌리기 좋더라.