토큰값이 1년에 여러 자릿수씩 하락, 글쓴이는 3-6년 내 프런티어급 LLM의 로컬 구동 전망

3-6년 안에 프런티어급이 로컬에서 돈다는 건데, 요즘 소비자 하드웨어 상태 봤나? 글쓴이가 안 본 것 같음.

RAM 가격은 수요가 조금만 꺾여도 폭락함. 인플레이션 조정한 노트북 사양 곡선을 40년치 봐도 여전히 지수적으로 올라가더라.

이 글 요지는 2025년 프런티어 지능 비용이 1년에 100배 떨어졌다는 거임. 모델 돌리는 에너지도 같이 무너지는 중이고, 컴퓨팅 비용은 90년간 계속 내려왔음.

3-6년은 오히려 보수적으로 잡은 거임. 그 시간이면 메모리랑 추론 칩 생산이 엄청나게 늘 수 있음.

난 이게 데이터센터 신축이 거품이라는 내 믿음의 근거임. AI 자체는 거품이 아니라 보는데 모델과 하드웨어 개선이 수요를 앞지르면 쓸모 없어진 데이터센터가 잔뜩 남음.

제번스의 역설이 정확히 반대 얘기를 함. 토큰당 비용과 와트당 처리량이 개선되면 데이터센터 수요는 줄지 않고 더 늘어남.

엔비디아도 Anthropic이나 OpenAI랑 같은 압박을 받음. 학습은 계속 지배하겠지만 진짜 볼륨은 추론이고 거기선 선두가 몇 달 차이라, Rubin CPX는 많이 팔아도 B200보다 마진이 작을 거임.

첫 번째 epoch.ai 차트에서 회귀선만 그려놨는데, 그 점들이 실제 추세인지 노이즈인지 검증하는 단계가 글에도 원자료에도 없음.

이렇게 확장하면 환경 부작용이 나쁘거나 재앙 쪽으로 갈 거라는 걸 피하기 어려워 보임.

비용이 에너지 사용이랑 강하게 묶여 있는데 지금 시스템들이 엄청 비효율적임. 모델 가중치를 실리콘에 직접 구워도 에너지가 90% 넘게 줄 수 있는 게 하한선 아닐까 싶음.

OP는 통찰이 있는데 사업성 분석이 약함. 1조 달러를 인프라에 박았으면 10% 수익을 내려면 매년 $100B 넘는 잉여현금흐름을 영원히 내야 하는데 그게 가능한지 자체를 안 따져봄.

cost-to-distill가 핵심 변수임. 지금 프런티어 모델 쓰는 건 보조금 붙은 가격인데도 비합리적이고, Deepseek로 대부분 과업을 더 빠르고 10배 싸게 처리할 수 있음. 프런티어 랩이 남는 건 브랜딩임.

걔네 이미 이익 내는 중임. 추론이 현금창출원이고 앞으로 몇 년치 컴퓨팅도 이미 확보해뒀음.

추론이 사업이 되는 건 맞는데 그 이익이 끌어온 투자금을 정당화할 만큼 크냐는 별개임. 투자액을 신중하게 잡은 후속 세대 추론 전문 기업이 승자가 될 수도 있음.

글이 쓰는 토큰 가격은 돈을 빠르게 태우는 업체의 가격을 액면 그대로 받아씀. OpenAI는 매출 $1마다 $19를 잃으니 손익분기하려면 과업당 $200을 받아야 하고 그러면 사용자가 다 떠남.

GPT-5.6 Luna 호출이 grep보다 4-5 자릿수 비싸고 그 격차가 곧 역전된다는 예측인데, Stein의 법칙을 좀 소환하고 싶음. 이런 개선이 영원히 안 가고 grep 비용이 하한선으로 수렴할 가능성이 큼.

그리고 하드웨어 개선은 grep도 같이 빨라지게 해서 그 격차는 안 줄어듦.

grep은 못 이겨도 rust-analyzer처럼 호출이 비싼 도구 일부를 가져가는 건 가능함.

LLM이 스파이시 메모이징이라 도구 호출보다 빠를 수는 있음. 다만 결정성이 필요하면 사람이 한 달을 튜닝하게 되는데, 그럴 거면 애초에 진짜 메모이제이션을 썼어야 함.