소형 AI 모델, 개인화 뉴스 생성 비용을 건당 약 10센트까지 낮추다

최근 5년간 이코노미스트를 읽는 건 페인트 마르는 걸 보는 것보다 못했음. 루나는 좋았는데, 모델 비교는 TPS 말고 실제 응답 시간, 비용, 성능을 설정별로 같이 봤으면 함. 예를 들어 Luna Max와 Terra Medium 중 뭐가 더 값어치 있는지 궁금함

그 판단을 하려면 진짜로 5년간 읽어봤어야 하는 거 아님? 안 읽어봤다면 어떻게 그런 결론을 냄?

프런티어 모델만 좇던 사람들이 이제야 소형 모델이 대부분 작업에 충분하다는 걸 발견한 게 웃김. 큰 비용 계정 없는 사람들은 이미 한참 전에 알았음

Composer 2와 2.5는 싸고 빨라서 좋았음. 다들 GPT 5.5에 열광할 때 우리는 더 적은 비용과 더 빠른 속도로 실제 작업을 했음

소비자 하드웨어에서 돌리는 32B 모델도 일부 워크플로에는 이제 충분히 쓸 만함

루나, 테라, 솔을 써봤는데 최근 작업에서는 솔도 루나만큼 잘못된 방향을 고집하거나 API 탐색용 작은 스크립트를 과하게 설계하더라. 작은 작업은 루나로 돌리고 수정하는 편이 토큰 낭비가 적음

이 흐름은 곧 더 커질 듯함. Replit이 이미 루나 사용을 무료로 제공하며 앞서가고 있음

대형 모델 자체가 제품은 아니라고 봄. 추론은 새 컴퓨트 형태이고, 2 to 3년 안에 모든 제품 경험에 들어갈 거임. 대부분 제품은 도구 호출, 정확한 기억, 지시 준수만 필요하고, 이 기능은 소형 모델에도 들어갈 것 같음. 호스팅 추론 수요가 줄어도 하드웨어 수요는 높게 유지될 듯

2024년 초 Guidance로 7B 로컬 모델에 테스트 의사코드를 주고, 테스트 작성 승인 뒤 통과할 때까지 코드를 쓰게 했음. 추론 모델 전이었지만 완료를 향해 스스로 다음 단계를 찾는 모습을 봤고, 모델이 더 좋아지지 않아도 활용법을 찾는 데 몇 년은 즐거울 거라고 생각했음

소형 모델을 사업 중심에 둔다는 건 외부 프런티어 API 호출을 로컬 모델용 내부 API 호출로 바꾸는 일에 가까움. 로컬 모델이 퍼지려면 DigitalOcean이나 AWS 같은 클라우드에서 싸게 돌리는 진입장벽이 더 낮아져야 함

DigitalOcean은 이미 그런 서비스를 제공함

글의 IQ 180 작업과 토큰을 많이 쓰는 작업 구분은 Paul Graham의 Maker's Schedule, Manager's Schedule과 비슷하게 들림. 모델이 어느 역할을 맡을지뿐 아니라 사람이 선호하는 작업 방식으로 갈 수 있게 어떻게 돕는지도 궁금함

대형 모델의 많은 파라미터는 세계 지식, 언어 능력, 추론 기초에 쓰이는 듯함. 세계 지식이 불필요하거나 오히려 방해되고 언어 능력도 조금만 필요한 앱에서는, 소형 모델을 잘 설계해 쓰는 편이 대형 모델을 단순하게 쓰는 것보다 나을 수 있음

세계 지식이 적으면 환각도 본질적으로 더 많아지는 것 아닌가?

동의함. Luna와 오픈 웨이트 모델은 입력 $0.2, 출력 $1.2 수준으로 매우 싸고 접근하기 쉬움. 요약이나 단순 도구 호출 같은 기본 용도에는 충분함