UC Berkeley 연구진 "코딩 에이전트 하네스는 정답률보다 비용을 바꾼다", Claude Code는 Pi보다 2배 비쌈

GLM 5.3 같은 오픈 모델에도 적용되는 건가? 하네스만 Pi로 바꾸면 비용이 절반이 된다는 뜻인데.

Pi를 로컬 모델로 돌려보면 OpenCode나 Claude Code보다 훨씬 쾌적하더라.

프로바이더 미들웨어도 무시 못 함. DeepSeek-V4-Flash-0731을 deepinfra에서 쓸 땐 하네스 간 차이가 거의 없었는데 together.ai에 Kilo Code를 물리니 편집 실패가 엄청 많았음. 같은 모델이 내 하네스 도구로는 잘 돌았고.

Claude Code와 Codex가 무거운 건 보안과 정렬 때문인데 그걸 빼놓고 tax라 부르는 건 좀 부정직함. Pi는 가드레일도 샌드박스도 없으니 빠르고 싼 게 당연하지.

Pi를 nono.sh로 감싸면 토큰 비용은 거의 0임. 샌드박스 없다는 지적은 좀 과함.

그 주장의 근거 자료는 있나?

Claude Code 시스템 프롬프트를 실제로 읽어봤나? bloat 대부분은 도구 설명이고, 가드레일은 시스템 프롬프트를 바꿔도 우회가 안 됨.

여기서 하네스라는 말이 agent를 대신하는 게 좀 걸림. 동시 실행과 서브에이전트를 쓰는 하네스는 비용과 성능이 크게 달라지는데 단일 하네스만 본 분석은 얕음.

서브에이전트를 계속 중첩해도 결국 책임은 사람이나 법인이 짐.

Claude Code는 쓰다 보면 영 별로임. 2조 달러 회사의 주력 제품이 이 정도인 건 좀 웃기지.

모델이 똑똑해질수록 시킬 말이 줄어드는 건 맞음. 반대로 작은 모델엔 pi 같은 최소 하네스가 필요함. 긴 시스템 메시지에 압도되니까.

내 결과도 비슷함. OpenCode를 Pydantic-AI 얇은 래퍼로 바꿨는데 표면적이 작으니 파악도 쉽고 워크플로에 맞추기도 편했음.

Claude Code의 auto mode랑 soft_deny, hard_deny 분류기가 나한텐 킬러 기능임. Codex는 정적 룰이라 모델이 우회할 여지가 있음.

Claude Code와 Codex는 뚱뚱한 만능 시스템 프롬프트 값을 사용자에게 청구하는 셈임. API로 직접 쓰면 다른 하네스가 거의 다 더 쌈.

캐싱은 추론 레이어에서 처리되니까 같은 모델, 같은 프로바이더로 보내면 OpenRouter를 거쳐도 작동함.

시스템 프롬프트 크기 때문이라면 장기 작업에선 tax가 덜 보일 수도 있음.

더 나은 하네스 벤치마크가 필요함. Pi가 토큰 효율은 좋지만 토큰을 안 따지고 opencode와 비교하면 실수 방어는 opencode가 나음.