아마존, 티켓 라벨링에 Sonnet 4.6 대신 Strands Decider E4B 투입해 토큰 비용 98% 절감

모델이 Sonnet보다 98% 싸다면 아마존이 아끼는 '수백만 달러'의 2%가 이 사람들 몫이라는 건데, 축하해줘야 하나 싶네.

2%도 지금은 수백만이고 성장하면 더 커지지. 그리고 Strands는 외부 스타트업이 아니라 AWS가 오픈소스로 낸 모델이라 돈이 밖으로 안 나감.

왜 최신 Sonnet으로 안 올렸을까.

본문 몇 문단만 읽어봐도 알 텐데. Bedrock이면 최신 Anthropic 모델 배치 API 지원이 안 되는 게 이유일 듯.

Sonnet 4.6을 백만 토큰당 3달러 시장가로 낸다는 소리? 글쎄.

6년 전에 SVM으로 티켓 분류 파이프라인 만들었는데 학습 몇 분, 분류는 몇 밀리초였음. LLM으로 갔다가 다시 빠른 분류기로 돌아오는 게 재밌더라. Linnaeus 논문으로 ICSE 2021에도 실렸고.

분류기에 LLM 쓸 이유가 하나도 없는데, 기술 아는 척하는 애들이 1000배 느리고 1000배 비싼 걸 밀어붙이는 거지.

LLM은 전문 지식 없이 아무 데나 갖다 붙일 수 있다는 게 장점이자 위험인 듯. SVM은 어렵진 않아도 데이터 사이언티스트가 필요하고 라벨링을 진지하게 고민해야 하니까. 일종의 모델링판 일렉트론 앱이라고 봄.

예전엔 고객 데이터로 학습하는 걸 회사들이 못 하게 했잖아. SVM은 차원이 읽히니까. LLM은 그 규칙을 무시하고 다 학습해서 세계 지식이 스며들게 만든 거고.

비싼 모델을 바로 붙여서 학습 데이터를 뽑고, 그다음 싼 모델로 갈아타는 흐름이 늘어날 듯. 우리 모델도 데이터 수집과 라벨링 시간을 빼면 학습은 몇 분이었음.

Linnaeus 얘기한 사람인데, JIRA 티켓 몇십 개와 20개 클래스로 시작해서 120개 넘게 늘렸고 수동 라벨링은 거의 없었음. 매일 재학습했고 추천/비추천 신호도 넣었지.

AI가 한 바퀴 돈 것 같음. 효율적인 분류기 만들자, 분류기는 집어치우고 신을 만들자, 신은 너무 비싸고 별로더라, 다시 분류기 만들자.

백만 티켓당 약 $21,700 절감이면 연 수백만 달러를 아끼려면 1년에 9,200만 티켓은 돼야 계산이 맞음. 근데 알람, 보안 findings, 용량 요청까지 생각하면 말이 되는 규모더라.

아마존 작은 조직도 한 달에 티켓 10만 개가 넘음. 작년 티켓 수를 세어봤는데 9,200만 개는 훨씬 넘더라.

VPN 하나 만들면 AWS가 매주 메일을 보내는데 그게 다 티켓이지. 뭘 해도 '티켓 올려'가 답인 문화임.