SemiAnalysis, OpenAI 추론 ASIC Jalapeño가 Blackwell보다 전력당 토큰 처리량 높다고 주장

LLM이 차세대 범용 칩 설계에도 쓰이면 성능이 크게 뛸지 궁금함. 나는 이 분야에서 멀어서 순진한 해석일 수도 있음.

하드웨어가 계속 좋아지니 토큰 가격은 결국 크게 내려갈 수밖에 없다고 봄.

토큰 가격이 내려가도 모델이 토큰을 계속 낭비하면 별 의미 없지.

효율이 좋아져도 데이터센터 수요가 폭증하면 주거지 소음, 현장 발전기 오염, 송전선 부지 수용, 물 사용 문제는 남음. 규제 장치 없이 싸진 토큰만 반길 일은 아님.

공급자가 자체 가속기를 설계했는데 효율 이익을 고객에게 돌려줄 거라고 보는 건 낙관적임. 그냥 자기들이 가치 대부분을 가져갈 수도 있음.

이건 제번스의 역설일 수 있음. 토큰 단가는 단기적으로 내려가도 싸져서 새 산업이 대량 사용하면 총수요와 에너지 사용은 오히려 늘 수 있음.

자체 ASIC 설계와 최첨단 메모리 생산은 난도가 다름. RAM은 특허, 대규모 R&D, 팹, 낮은 수율 문제가 한꺼번에 걸려 있음.

FP4가 웃길 정도로 낮은 정밀도이긴 함. 표를 맞게 읽었다면 다이 크기는 Rubin과 비슷한데 NVFP4 PFLOPS는 3분의 1쯤이라 본문 주장과 표가 서로 안 맞는 듯함.

SemiAnalysis는 괜찮은 분석을 내놓기도 하지만, 이 글을 그대로 믿긴 어려움. 설립자가 Anthropic 쪽 인물과 가까웠다는 얘기도 있고 완전히 객관적일 리는 없음.

SemiAnalysis 벤치마크는 분자와 분모를 잘못 세는 스크립트 문제가 반복된다는 비판이 있음. 결함 있는 벤치마크에 비싼 구독료를 받는다는 불만도 이해함.

추론이 상품화돼도 모두가 같은 비용으로 최전선 모델을 돌리는 세상은 아닐 듯함. 석유처럼 대규모 사업자만 경쟁력 있는 원가를 갖고, 자체 칩은 그 격차를 더 벌릴 수 있음.

모델은 철강처럼 동질 상품이 아님. 각 모델마다 강점과 약점이 달라서 Opus 5나 Sol의 품질을 두고 계속 불평과 선호가 갈리는 거임.

그래도 지금 NVIDIA는 칩 제조원가보다 몇 배를 받고 있다고 봄. 추론 하드웨어 경쟁이 생기면 그 초과 이윤이 줄고 가격도 내려가며, 훈련 컴퓨팅 상품화의 시작이 될 수 있음.

인간 음성 대비 토큰/줄 수치만 보면 인간이 아직 22배 효율적이라는데, 품질까지 같은 기준으로 비교한 건지 의문임. 뇌의 20W는 몸 유지와 다른 모든 기능까지 포함하지만 칩은 토큰만 내보내니 사과와 오렌지 비교에 가까움.