Cerebras, 3조 파라미터 Kimi K3를 웨이퍼 59장 파이프라인에 올려 초당 2000토큰 서빙
- 공개 모델 Kimi K3(3조 파라미터, 선형 어텐션 69층 + 덴스 24층)를 WSE-3T 웨이퍼 59장에 나눠 올려 초당 1000~2000토큰 이상으로 서빙함
- 웨이퍼 한 장의 온칩 SRAM은 44GB이고 4비트 가중치 기준 층 하나가 약 16GB라, KV 캐시 자리가 필요한 덴스 층은 1장, 선형 어텐션 층은 2장씩 배치해 35+24=59장이 됨
- 가중치는 칩에 고정하고 활성값만 RDMA over Ethernet으로 웨이퍼 사이를 넘기며 홉당 약 2마이크로초가 걸림
- 파이프라인 각 단계가 서로 다른 요청과 마이크로 배치를 동시에 처리해 파이프라인을 계속 채우고, 동시 요청 수의 상한은 덴스 층 웨이퍼의 KV 캐시용 온칩 메모리가 정함
- 선형 어텐션 층은 문맥 길이와 무관하게 요청당 고정 크기 상태만 유지하고, 계산은 8비트 KV 캐시와 256k 평균 요청 크기를 가정해 이뤄짐
Hacker News opinions
웨이퍼 59장짜리 파이프라인이면 장애 도메인이 제일 걱정됨. GPU는 노드 하나 죽어도 성능만 떨어지는데 여기선 모델이 곧 랙이라 웨이퍼 한 장 나가면 전체가 멈춤. 롤링 업그레이드는 어떻게 하고 한 장만 드레인하는 방법은 있음?
웨이퍼당 20kW면 전체 1.18MW 정도고 1500 tps에 동시 190요청이면 토큰당 4.1줄 나옴. 이 크기 모델 치고는 나쁘지 않은 것 같은데?
엔비디아 랙 하나가 120kW니까 GPU 랙 10대분 전력임. 비트코인 채굴칩 13J/TH랑 비교하면 토큰 하나에 3200억 번 해시급이고, 땅콩이 4200줄이니 땅콩 하나로 1000토큰 뽑는 셈임. 별 의미는 없지만.
'GPU 배치와 달리 요청끼리 기다리지 않는다'는 문장에서 GPU 배치가 하드웨어 한계인가 싶었음. 알고 보면 그냥 파이프라인 병렬이라 GPU에서도 이론상 흉내는 낼 수 있을 텐데 전송 오버헤드가 클 듯.
GPU는 층을 하나씩 순서대로 처리하니 추론에서 파이프라인 병렬은 별 의미가 없음. Cerebras는 네트워크를 웨이퍼 위에 공간적으로 펼쳐서 가중치는 고정하고 활성값만 흐르게 하는 구조임.
초당 2000토큰이면 툴 호출 대기가 병목이 되는 구간이 와서 체감이 확 달라질 수 있다고 봄. 그게 초지능은 아니겠지만.
속도보다 코드 품질이 문제임. 50 tps로 쏟아내는 LLM 세션 몇 개만 돌려도 사람 혼자 리뷰가 안 되는데 2000 tps면 유지보수는 포기해야 함.
PE 2D 메시에서 층이 왼쪽에서 오른쪽으로 흐른다고 그렸는데 실제로는 대각선이나 다른 토폴로지가 데이터 흐름에 유리하지 않을까. 칩 설계 EDA가 대각선 배선을 지원하지 않아서 정사각 격자로 간다는 답도 있었음.
정사각 격자가 잘 맞는 이유는 텐서 축을 배치든 시퀀스든 히든이든 PE에 아무 차원으로나 쪼갤 수 있어서임. 각 PE는 이웃에서 받아 계산해서 이웃으로 보내는 단순한 코드면 충분하고.
웨이퍼가 그렇게 큰데 온칩 메모리가 44GB뿐이라는 게 의외임. SRAM이라 CPU 캐시에 가까운 것이고 1비트에 트랜지스터 6개라 밀도가 낮아서 그렇다더라.
KV 캐시를 DRAM으로 내리면 온칩 메모리 상한을 피할 수 있을 텐데. 요청 하나 디코드를 끝까지 돌리고 다음 요청으로 넘기면 DRAM에서 SRAM으로 퍼오는 횟수도 제한됨.
새 요청마다 KV 캐시를 스토리지에서 퍼와야 한다면 램 많은 서버가 따로 필요한 거 아님? 차라리 KV 캐시를 들고 어텐션 연산까지 직접 하는 어텐션 서버를 두는 게 낫다는 얘기가 있었음.
직접 써보면 카탈로그에 GPT OSS 120B나 Qwen 27B 정도만 있어서 쓸 데가 없음. 속도는 진짜 빠른데 답이 자주 틀림.
GPT-5.6 Sol Ultrafast는 Cerebras 하드웨어에서 돌아감.
Cerebras는 AI판 트랜스메타 같음. 논문이랑 데모는 화려한데 실제로 남는 게 뭔지가 궁금함.