Codex의 Bedrock GPT-5.6 Sol, 명시적 프롬프트 캐시 제어 부재로 캐시 쓰기 비용 85% 추정

Bedrock에서 Codex를 돌렸더니 읽기 대 쓰기 캐시 비율이 5%도 안 됐음. 비싼 캐시 쓰기만 계속 발생해서 비용이 원래보다 약 10배 나왔고, web_search = "disabled"로 바꾸니 해결됐음.

이런 큰 비용이 나오기 전에 OpenRouter 같은 중간 계층을 썼다면 잡아낼 수 있었을지 궁금함.

이슈 내용이 너무 두서없음. 문서는 캐시 모드와 브레이크포인트를 설명하는데, 이슈가 둘 중 무엇이 필요한지 혼동하는 듯하고 Codex의 기본 동작이 왜 문제인지도 충분히 설명하지 않음.

5.6에서 캐시 동작이 바뀐 듯함. 5.5 이하는 KV 캐시 접두사를 잘라 재사용했지만, 5.6은 선형 어텐션이나 순환형 구조라 상태를 되감지 못하는 것일 수도 있다고 봄.

그 정도 제품 동작 변화라면 고객에게 미리 알려야 했다고 봄. 공개하지 않았다면 무례한 일임.

VS Code Codex 플러그인에서 마지막 프롬프트를 고치면 5.6부터 모델의 추론이 그 수정에 반응하는 걸 봤음. 예전에는 계획 세션에서 경우의 수를 바꿔도 캐시가 오염되지 않았는데 지금은 달라진 듯함.

요즘 Codex 앱도 사용량을 엄청 태우는 것 같음.

팀의 설명과 달리 나도 Codex 앱에서 같은 현상을 봤음. 월 200달러 요금제가 지금은 내 사용량 기준 이틀 정도밖에 못 감.

과다 청구만 이슈가 되고 과소 청구는 아무도 이슈를 안 열어서 그렇게 보이는 보고 편향일 수도 있음.

과소 청구를 공개하는 회사는 드물지만, OpenAI도 저가 계약과 쿼터 초기화를 여러 번 했음. 의도적으로 비용을 부풀린다는 쪽은 편향된 해석 같음.

비공개 최첨단 AI에 접근하는 회사들이 채팅 앱 수준에서 이런 실수를 반복하는 걸 보면, AI가 소프트웨어 개발 전체를 대체할 준비가 됐다는 주장에는 더 회의적이 됨.

버그라기보다 수익성을 높이는 경로처럼 들림.