퀄컴 Cloud AI 100 Ultra: 150W 카드에 128GB LPDDR4x, 548GB/s, INT8 870 TOPS

My alerts

퀄컴 Cloud AI 100 Ultra는 150W TDP PCIe FH3/4L 카드 한 장에 128GB LPDDR4x, 548GB/s 대역폭, INT8 최대 870 TOPS와 FP16 288 TFLOPS, 576MB 온다이 SRAM을 담음
같은 150W·128GB 구성의 AI 80 Ultra는 코어당 성능을 낮춰 INT8 618 TOPS, FP16 222 TFLOPS로 책정됨
75W HHHL 라인업인 AI 100 Pro, AI 100 Standard, AI 80 Standard는 램 32GB 이하, 대역폭 137GB/s로 떨어지고 호스트 인터페이스도 PCIe Gen4 8레인으로 줄어듦
소프트웨어는 Qualcomm AI Inference Suite가 OpenAI 호환 API와 RAG, 이미지 생성, 멀티모달을 지원하고 쿠버네티스나 베어메탈 컨테이너로 배포되는 구조임
해커뉴스 댓글에서는 이 카드가 2023년 11월 발표된 제품이라는 지적과 함께 Cirrascale 8장 서버가 월 4,699달러(연간 약정 3,759달러), GPU당 시간당 5.15달러부터라는 가격이 나옴

지속 추론 부하에서 메모리 대역폭이 스펙시트 숫자대로 나오는지 궁금하네. 표에 적힌 값은 항상 예쁘잖아.

이거 스펙이 이미 구식 아님? 2년 전에나 통하던 걸 들고 나오는 느낌인데. 1TB 램에 5TB/s 정도는 돼야 흥미롭지.

5년 된 GPU도 아직 가격이 미쳤음. 로컬 추론 하려는 회사는 많은데 가격 때문에 못 들어가고 있음.

이 카드가 싱글 슬롯으로 보이니까 워크스테이션이나 서버에 4장 넣으면 512GB에 총 2TB/s 나옴. 지금 LLM 돌리기엔 꽤 매력적임.

그럼 8장 넣으면 1TB에 4.4TB/s임.

이건 CPU 회사들이 엔비디아랑 AMD를 따라잡는 중이라는 얘기임. 최신 서버 라인업은 MI455X가 제일 앞서 있고 MI350P가 데이터센터 밖에서 쓸 수 있는 카드임.

발표 글 찾아보니 2023년 11월 13일자임. Cloud AI 100 Ultra는 그때 나온 제품이고 지금 새로 나온 게 아님.

애플 M6보다 확실히 나쁜데 가격도 모르겠음. 아 TOPS는 거의 10배 높구나. 근데 대역폭이 이렇게 낮으면 TOPS가 얼마나 효과 있을지 모르겠음.

M6는 80~100 TOPS인데 이건 800 TOPS임. 요즘 추론 스택은 prefill이랑 decode에 다른 GPU를 쓰니까 이건 prefill용으로 적합함.

산술 강도를 올리는 거라 LLM prefill에는 꽤 좋음. decode는 스트림을 늘려 레이어 가중치를 재사용하거나, KV 캐시 때문에 안 되면 추측 디코딩으로 버티면 됨. 이미지나 비디오 생성처럼 연산 집약적인 작업에도 잘 맞음.

설계가 좀 흥미로움. HBM 대신 SRAM 반 테라바이트를 얹고 128GB 일반 램을 붙인 구조임.

스펙이 구식으로 보이는 건 이 칩이 2024년에 나왔기 때문임. Cirrascale 같은 클라우드에서 쓸 수 있음.

MI50이나 V100을 쓰레기통에서 꺼내 쓰는 판국에 2024년은 미래 외계 기술처럼 느껴짐.

가격이 얼마임? 5090보다 싸면 하나 사고 싶은데.

M4 Max 맥스튜디오 램에 GPU급 연산을 붙인 느낌임? 퀄컴이라 M4 Max랑 비교될 텐데 실제로는 M2 Max보다 느림.

Cirrascale 8장 서버가 장당 128GB, 시스템 램 512GB 구성으로 월 4,699달러(월 약정) 또는 3,759달러(연간 약정)이고 GPU당 시간당 5.15달러부터임.

시간당 5달러면 H200도 그 가격에 빌리는데 이건 가성비가 최악임. 모든 면에서 H200이 낫잖아.