엔비디아, DGX Station 두 대와 vLLM으로 GLM-5.3 서빙해 초당 607.8 토큰 달성

DGX 두 대면 뭘 돌리는 게 제일 좋을까. 왜 deepseek 말고 glm을 골랐는지가 궁금하네.

GLM-5.3 아키텍처가 더 단순하고 먼저 나왔음. 하이브리드 어텐션은 GLM-5.3-Flash부터 들어갔고, DeepSeek-V4.1-Flash는 메모리 효율이 좋아서 GPU를 덜 팔리게 하니까 엔비디아 입장에선 글쎄.

DeepSeek 강점은 사용자당 메모리 footprint를 줄여서 같은 하드웨어에 동시 사용자를 더 많이 태우는 거임. 그 압축이 품질에서 공짜로 오진 않겠지만.

GB300 DGX가 대당 10만 달러면 기업엔 할 만한 가격임. 근데 Claude처럼 50에서 100 tps 뽑으면서 사용자가 10명이면 기업도 아니고. 아직 LLM은 모델 S 초기 단계인 듯.

솔직히 20만 달러 하드웨어 치고 별로 인상적이지 않은데. 8xB6000에 4bit로 절반 가격에 돌린 사람 있고 처리량은 60% 더 나온다더라.

이 하드웨어의 핵심은 데스크톱이라는 점임. 그걸 놓치면 비교가 이상해짐.

대당 10만 달러, 출력 토큰 1.4달러/M로 계산하면 최대 가동 가정해도 ROI가 7년임. 전기세 빼고도 이럼. 프라이버시 같은 이유 없으면 경제성이 없음.

은행이나 의료처럼 민감한 데이터 다루는 사무실이면 이 워크스테이션 두 대 놓고 엔지니어 불만을 없애는 게 훨씬 실용적임. 상용 API 승인받는 데 몇 년 걸리는 곳도 있으니까.

ROI 타령하는 글마다 나오는 얘기지만 자체 호스팅의 진짜 값은 통제권과 안 바뀌는 모델임. 그거면 이미 본전 뽑은 거고.

Kimi K3.1 Pro 같은 다른 모델 대규모 배포랑 비교하면 GB300 한 장당 10k에서 38k tok/s 나온다는 얘기도 있어서 이 수치가 초라해 보임.

지금 프론티어 모델 자체 호스팅은 하드웨어 프리미엄 때문에 경제성이 없음. 생산이 수요를 따라잡으면 가격이 어떻게 될지가 진짜 질문임.

이 얘기 이제 지겹다. 집 사는 것도 우버 타는 것도 악기 사는 것도 단기로는 렌트가 싸지. 소유한다는 감각 자체가 값인데 모든 걸 최소비용으로만 따지면 아무것도 못 삼.

가격 출처는 z.ai 공식 문서임. 입력 1.4달러, 출력 4.4달러, 캐시 입력 0.26달러. 하루 출력 50M에 입력 500M 섞으면 하루 650달러쯤이라 20만 달러는 1년 안에 뽑음. 다만 기사를 다시 읽어보니 decode랑 prefill 성능을 구분 안 해놔서 이 논쟁이 좀 무의미해짐.

2대 넘어가면 Quantum X800 스위치를 사야 하나? VRAM 많은 건 좋은데 네트워크 붙이기 애매해서 미뤘음. B300 노드 50만 달러 쓸 바엔 MI355X 갈 것 같고.

맥에서는 썬더볼트로 고속 인터커넥트 묶는 exo 같은 게 있음. 몇 노드 이상은 안 늘겠지만 접근성 좋은 중간지대임.

집이나 100명 이하 회사에서 이걸 산다고? 대당 1.6kW에 팬 소음까지 감당해야 하고 동시성 16에서 600 tok/s는 그 용도가 아님. 2027년 HBF 나올 때까지 qwen 37b나 쓰자.