구독 대시보드 대신 직접 운영하는 LLM 프록시로 토큰 사용량과 캐시 미스를 추적하자

나도 같은 이유로 에이전트 하네스를 직접 만들었음. 뭘 하는지, 왜 그러는지 전부 보려고. 다른 에이전트가 왜 이런 인사이트를 안 주는지는 잘 모르겠음

LiteLLM 프록시를 서버에 올리는 중임. 가상 키 발급해서 샌드박스에 제공사 키가 안 들어가게 하고, 다 보이고, 가드레일도 넣을 수 있어서 이걸로 에이전트를 샌드박스에서 돌릴 생각임. 가드레일은 뭐 씀? 프롬프트 인젝션 검사 모델 같은 거? 그리고 Bifrost도 쓸 만하다던데 써본 사람 장단점 있음?

LiteLLM 써본 사람 있음? 어느 정도임? Claude 구독으로도 붙일 수 있음?

GoModel 쓰는데 진짜 좋음. 가상 모델이랑 임의 요청 라벨 기능, 대시보드가 마음에 듦. 구독이랑 API 키를 게이트웨이 하나로 묶으면 OpenCode 사고 같은 거에 덜 당함. 오픈소스라 자체 인프라에 올릴 수 있고 집에서도 돌리는데 에이전트 상호작용 기록이 아주 자세함

OpenRouter가 이런 거 다 해줌. 괜찮음. 다만 앱은 서버 하나 더 끼워서 요청을 더 잠그고 클라이언트가 API 키를 못 보게 함

나는 이런 거 몰라도 되고 월 $20 내고 회사가 복잡한 거 감춰주는 게 편함. 그래도 이런 글은 재밌게 읽음

다들 어떻게 하는지 궁금함

나는 안 하는데 방법은 앎. 홈랩에 LiteLLM이나 GoModel 올리면 됨

LiteLLM 같은 거 버그 많은 바이브코딩 결과물 아님? 업데이트 속도 보면 취약점도 있을 것 같음. 좋은 대안 있음?

Bifrost 꽤 괜찮은데 일부 shareware라서 아쉬움

비용이 이해가 안 감. 20x Claude Max $200/월 쓰는데 주간 한도 거의 다 찜. API 키로 쓰면 이틀 반 만에 $200 나가더라

지금 Flash 모델은 Sonnet급이고 싸긴 함. 근데 구독은 보조금 받는 거라 다들 가격 올리거나 한도 줄이는 중임. 싼 토큰은 고객 모으는 장치임. 지금 관리해두는 게 나음

구독은 사람들이 한도를 다 안 쓰니까 회사가 남는 장사임. $20 내는 사람은 한도의 10%만 쓰기도 함

엔터프라이즈 계약 안 하면 학습 안 쓴다는 보장이 없어서 결국 토큰당 과금 계약을 해야 할 수도 있음

$100짜리 OpenAI 구독이면 집에서 쓰기엔 사실상 무제한처럼 느껴짐. 이걸 왜 이렇게 빡세게 감시하는지 모르겠음

캐시 TTL 때문에 모니터링 안 하면 예산이 날아감. 서브에이전트도 5분 TTL이라 10분 대기 테스트 돌리면 5시간 한도가 다 날아감. 회사 API도 5분 TTL이라 꼭 봐야 함

커널에서 잡으면 안 되냐?

네트워크로 이미 다 나가고 있고 업계가 OTEL로 가는 중이라 거기서 내보내면 됨