GLM, 10만 개 넘는 중국산 가속기로 추론 인프라 자체 구축…작업 대부분 Infra Agent가 수행
- GLM-5.3-Flash의 전체 프로덕션 추론을 10만 개 이상의 중국산 AI 가속기 클러스터에 처음부터 자체 구축한 서비스로 처리하며, 이 규모의 중국산 가속기 배포는 이전에 사례가 없음
- 인프라 구축 작업 상당 부분을 GLM-5.3 기반 Infra Agent가 수행했고, 초기 모델 적응에서 양산 준비까지 2주 미만이 걸려 end-to-end 처리량이 기준선 대비 3배가 됨
- Ox-Alpha라는 익명 이름으로 OpenCode와 OpenRouter에 공개한 뒤 일주일 만에 두 플랫폼 최다 사용 모델이 되었고, 6일 동안 62조 토큰을 처리함
- ReplaySSM, W8A8 양자화, INT8/FP8/BF16 혼합 정밀도 캐시 양자화, Layer Split, EPD 분리 구조를 조합해 서빙 성능을 약 3배 올렸고 토큰당 비용을 NVIDIA GPU 수준에 맞춤
- 회사는 이 작업을 재귀적 자기 개선(RSI) 의 초기 사례로 규정하며 다음 세대 모델 학습 방식을 직접 바꾼 사건이라고 밝힘
Hacker News opinions
중국산 가속기 10만 개로 전부 돌린다는 건 이미 다들 예상했던 거 아님? 100조 토큰을 공짜로 풀었을 때부터 눈치챘지.
서양 랩 입장에서는 운석급 사건인데 이걸 체감하는 사람이 거의 없음. 중국은 전기가 싸고 넘치고, 이제 추론 칩까지 직접 만드니까 병목이었던 게 사라진 거임. 모델이 6개월 뒤처져도 대부분은 프론티어 모델 필요 없고 작은 모델로 충분하지. 미스트랄 같은 랩이 칩 회사랑 손잡았으면 좋겠음.
코딩 플랜 가격 왜 이렇게 올랐나 했더니 중간 플랜이 이제 월 80달러야. 예전엔 20달러 아니었나? 제일 싼 게 월 20달러고. 스케일링 한계에 부딪힌 게 분명함.
맞아, 예전엔 개꿀딜이었는데 지금은 다른 업체 대비 못 쓸 정도임. 중간 지점을 좀 찾아야 할 텐데.
실제 토큰 한도를 아무도 안 밝히니까 판단이 어려움. 복잡하고 유동적일 테니 그냥 티어를 다르게 준 것에 가까움. API 요금도 최저가 업체보다 조금 비싼 정도라 가격 차이가 클 이유가 없음.
나는 연 360달러 맥스 플랜 결제했고 프론티어 GLM-5.3로 하루 평균 10억 토큰쯤 썼음. 유지 불가능했으니 이 패키지를 내린 거지.
그쪽 코딩 플랜은 데이터를 보관하거나 학습에 안 쓴다는 점 때문에 나한테는 더 싼 선택지임.
레거시 플랜이라 아직 괜찮은데 갱신하면 물 빠진 플랜으로 넘어감. 50% 레거시 할인 받으면 쓸 만할 듯. 경쟁사로 가면 정가를 내야 하고. 가격 인상은 스케일링 문제라기보다 처음 가격이 서구 업체보다 심하게 보조금 받은 홍보용이었던 거임.
토큰이 너무 제한적임. 제일 큰 플랜 쓰는데도 금방 한도에 걸림. 코드덱스에 곁들여서 아껴 쓰는데도 그럼.
자기 모델 쓰면 여전히 이득임. 맥스 플랜이 월 168달러에 GLM-5.3으로 약 1,100달러어치, 플래시로 약 260달러어치를 주는데 캐시 히트율 97%로 실제로 확인했음. 다만 플래시는 너무 느려서 병렬화 안 하면 시간당 쿼터를 못 채움. 5.3은 초당 40토큰, 플래시는 30토큰 정도 나옴.
인프라 얘기도 좋은데, 그 인프라가 앤트로픽 Opus 4.8로 수백만 유료 고객 요청을 불법 라우팅한 증류 공격으로 얻은 거라는 건 빼놓지 마셈.
그게 왜 불법임?
그건 좀 아닌 게, 앤트로픽과 오픈AI는 thinking 토큰 출력을 암호화하고 중국 랩은 안 함. 오히려 다들 오픈웨이트 모델을 합성 데이터 생성에 쓰고 있을 가능성이 큼. 하드 토큰보다 로짓에서 증류하는 게 훨씬 쉬우니까.
다리오가 자기네 이용약관 하나 침해당한 것 때문에 이렇게 고통받아야 하다니 눈물 나네.
사실이어도 도둑에게 털린 도둑일 뿐임. 앤트로픽도 학습 데이터 얻으려고 약관 몇 개는 깼지.
앤트로픽은 지구상 거의 모든 저자 저작권을 침해했고 합의금까지 냄. 그쪽이 부과하는 약관을 존중할 이유가 없음. 약관 깨고 싶으면 에이전트한테 시키면 됨.
학습 데이터가 병목이라는 발상 자체가 우스움. 요즘 추론 모델은 시뮬레이션 환경을 만들어서 에이전트를 돌리고 RLVR로 검증 점수를 주면서 학습함. GLM으로 자기 RL 학습 환경을 직접 만들면 되는데 안 하고 있을 거라 생각함?
이 글 보고 든 생각은 하나임. GLM이 뭔데? z.ai도 뭔지 모르겠음. 내가 아는 건 zed.dev의 Zed 편집기뿐인데 자기 제품을 다 안다고 가정하는 게 좀 오만함.
자기 블로그에서 자기 제품을 안다고 가정하는 게 왜 오만함? 첫 문장부터 GLM이 언어 모델이라는 건 나옴.
z.ai는 중국에서 꽤 알려진 랩이고 GLM은 앤트로픽, 오픈AI 다음으로 인기 있는 모델임. 자기 블로그에서 자기소개를 왜 함?
Codex, Gemini, Claude 같은 모델 계열이고 GLM-5.3-Flash가 최신 소형 고속 모델임.
글쎄, 세계 1위 오픈웨이트 LLM인데. 모르는 주제마다 이런 댓글 다는 거임?
다른 각도 얘기: GLM-5.3 전체(744B MoE, 4비트 experts, 디스크 434GB)를 128GB M5 맥스 맥북 한 대에서 NVMe SSD로 experts를 스트리밍해서 돌림. 드라이브 하나로 초당 2토큰, 네 개 스트라이프하면 출력이 완전히 같으면서 3.5토큰, 아직 안 올린 패치 넣은 내부 빌드는 4.2토큰 나옴.
쓸 수 없는 속도인데? 짧은 컨텍스트에서만 되는 거 아님?