GPT-5.6에서 GPT-6.1까지 석 달 만에 LLM 가격 75% 하락, 절감의 핵심은 캐시 읽기 단가

토큰 벤더들도 결국 통신사 데이터 요금제 길을 갈 것 같음. 처리량은 계속 늘어나는데 상품은 재화화돼서 기술이 만든 경제적 이득은 못 챙기더라. 조만간 무제한 요금제 나오면 좋겠음.

무제한은 안 나옴. 전화 통화는 쓸 수 있는 시간이 정해져 있지만, 무제한 토큰에 스케줄 걸린 작업하고 서브에이전트까지 붙이면 돈이 엄청 나감.

모델 서빙 비용은 사용량에 비례해서 선형으로 늘어나는데 통신 데이터는 서빙 비용이 거의 0이잖아. 같은 방식으로 비교할 수가 없음.

전기요금 생각해보면 답 나옴. 대부분 지역에서 kWh당 과금하지 정액제가 아님. 토큰이 지금처럼 전력 집약적이면 정액제는 답이 없어.

경쟁이 가격을 내리는 건 맞음. 우리는 OpenAI랑 Anthropic에서 사이버보안 차단 맞고 Kimi랑 GLM으로 갈아탔는데, 더 싸고 거부 없이 일 끝냈음.

미국이 연말 안에 중국 모델 접근을 금지시켜도 놀랍지 않을 듯.

경쟁 때문이라면 두 회사 사용량이 폭락했거나 곧 재무적으로 터진다는 뜻 아님? 원래도 비싼 모델로 돈 태우고 있었는데 경쟁했다고 capex가 비례해서 줄었을 리가 없음.

서로 경쟁하기 시작한 게 이번이 처음인데? Anthropic은 곧 상장하고 9월까지 OpenAI도 상장 얘기가 있었고, 둘 다 수익은 거의 못 내고 있음.

근데 컴퓨트 부족하다고 하지 않았나? 소고기 부족한데 생산자들이 '경쟁' 때문에 가격 내리는 상황이랑 똑같아서 납득이 안 됨.

가격 경쟁임. 모트가 없고 중국 경쟁자도 있음. 바닥까지 내려가는 싸움이고 주식시장엔 끔찍하겠지만 소비자한텐 좋은 거지.

바닥까지 가는 게 소비자한테 좋기만 한가? 더 좋은 걸 원하는 게 아니라 더 많은 걸 원하는 거라면 몰라도. 거품 터지면 다 같이 맞음.

절감분의 대부분은 KV 캐시 최적화일 거임. 에이전트 코딩에서 캐시가 차지하는 비중만 봐도 그렇고.

그거 그냥 블로거 한 명이 자신만만하게 쓴 이론 아님? 근거가 그 글 하나뿐이던데.

효율 좋은 캐싱이랑 더 작은 모델 때문일 가능성이 큼. 6 Sol은 사실상 6 Terra고 Opus 5.5는 5.1보다 작음. 너무 깊게 생각하지 마셈.

OpenAI랑 Anthropic을 돈 못 버는 무계획 회사로 보는 사람 많은데 걔네도 뭘 하는지는 앎. 인터넷이 안 될 거라고 했던 사람들이랑 똑같은 소리임.

그건 그냥 무조건 찬성하는 쪽이고, 반대하는 쪽은 지금 실제로 적자라는 사실 하나는 갖고 있음. 기술이 유용한지랑 사업 모델이 되는지는 별개 문제임.

Global Crossing 찾아보셈. 인터넷은 살아남았지만 대형 회사 대부분은 죽었음.

규제를 미는 이유가 이거임. 추론 단가 내리는 걸로 투자자한테 ROI를 보여줄 수 없으니까. 규제는 좀 불편하겠지만 중국 오픈 모델이 금지되면 이득이 훨씬 큼.

하드웨어 효율이 좋아진 것도 큼. TPU 세대 간 7배 개선 얘기도 있고, 학습용과 추론용 칩을 나눠 쓰기도 함.

바닥까지 가는 경쟁이 지속 불가능하다고만 하기엔, DeepSeek은 이미 추론을 이익 남기고 판다는 걸 증명했잖아.