DeepSeek, 추론 엔진 DeepInfer 코드 공개... vLLM 기반에 KV 캐시는 빠져
- DeepInfer는 DeepSeek이 GitHub에 공개한 추론 엔진 저장소로, csrc, deepinfer, deep_cluster, eval 등 디렉터리로 구성됨
- README에 따르면 KV 캐시 시스템, prefill과 decode 분리, 데이터 병렬 복제본 간 부하 분산은 완전한 추론 서비스에 필요하지만 이번 공개에는 포함되지 않음
- 인용된 중국어 글에 따르면 이 프레임워크로 DeepSeek V4.1 Flash 서비스를 돌려 단일 클러스터가 하루 155조 토큰을 처리하고, 카드당 시간당 매출은 $38(오프피크 가격 기준)임
- 댓글 작성자들은 이 프로젝트가 vLLM을 기반으로 한 것이라 SGLang 등 기존 엔진이 이미 할 수 있는 일이라고 지적함
Hacker News opinions
이 숫자 보면 추론 장사는 돈 되는 듯. 시간당 $38이면 GPU 한 장 값은 금방 빠질 것 같음. 근데 오프피크 가격 기준이라 그대로 믿긴 좀 그럼.
오픈소스 추론 엔진이 퍼지면 추론 가격이 GPU 원가 쪽으로 눌릴 거임. 그럼 컴퓨트 업체한테는 오히려 나쁜 소식 아닌가 싶음.
그냥 vLLM 기반 프로젝트인데 뭐가 그렇게 대단하냐는 생각임. SGLang도 DS 모델 돌릴 수 있고, 여기 있는 것 중 논문에 이미 나온 내용도 많더라.
Opus 같은 프론티어 모델이 여전히 더 낫다고 봄. 돈 내고 쓰는 입장에선 필요하면 바로 갈아탈 수 있음.
2년 전 DeepSeek V3 나왔을 때도 똑같이 OpenAI랑 Anthropic 밸류 무너진다는 말 나왔는데, 결과적으로 밸류는 4배 가까이 뛰었음.
KV 캐시 시스템은 빠져 있더라. README에도 완전한 추론 서비스에 필요하다고 적혀 있고, 이번 릴리스엔 안 들어갔다고 함.
중국은 엔비디아랑 ASML 제재 때문에 GPU가 모자라서 모델은 풀고 추론은 EU나 미국 제3자가 돌리게 하는 것 같음. 결국 GPU 부족 문제라는 해석임.