같은 TypeScript 파일, Claude 최신 토크나이저는 GPT보다 토큰을 1.73배 더 씀

GPT 5.5 계열이 CoT 쓸 때 진짜 짠돌이던데, GLM 5.2보다 실제 청구액이 더 싸게 나오더라. Opus나 Fable은 말할 것도 없고.

OpenAI는 토크나이저를 공개한다는 것 자체가 Anthropic보다 훨씬 나은 점이지. 게다가 마지막 업데이트 때 더 효율적으로 바뀌었지, 나빠진 게 아니고.

이 글이 토크나이저 차이에만 집중하는데, 그거 반영해도 에이전틱 코딩 비용 계산은 여전히 부정확해. 컨텍스트를 얼마나 로드하는지, 생각하는 데 얼마나 걸리는지, 사용자한테 얼마나 자주 되묻는지가 훨씬 더 큰 영향을 줌.

새 토크나이저가 무슨 장점이 있는지 모르겠는데, 그냥 소란 안 일으키려는 눈속임 같음. Opus 4.5에서 4.6으로 갈 때 체감상 달라진 거 없었잖아.

이거 보니까 Anthropic이 또 뒤통수 치는 느낌이네.

직접 테스트해봤는데 9만줄짜리 C++ 코드베이스 기준으로 GPT는 112만 토큰, Claude는 220만 토큰 나옴. TypeScript 3만줄짜리는 GPT 26만, Claude 43.7만. 지금 Claude 토크나이저가 GPT보다 1.6~2배 나쁨.

그 단어 선택이 좀 아닌 것 같은데, Claude 토크나이저가 나쁜 게 아니라 그냥 더 비싸고 verbose한 거지.

이건 그나마 나은 케이스고, reasoning 토큰이 전체의 대부분을 차지하는데 그건 완전히 블랙박스라 프로즈인지 코드인지도 구분 안 됨.

진짜 핵심은 KV 캐시 쓰기/읽기 가격이야. 코딩 작업 하나에 2억 토큰 썼다는 얘기 나오면 그거 대부분 캐시 리드인데, 그게 헤드라인 가격이어야 함. DeepSeek API가 캐시 가격이 워낙 싸서 눈에 띄는 이유도 그거임.

토큰 수보다 서브에이전트가 레포 전체를 몇 번이나 스캔하는지, 거기에 thinking level 곱한 게 진짜 가격이지.