Inception, 초당 1,107토큰·260K 컨텍스트의 확산 LLM Mercury 2.5 출시

API 플랫폼에서 'Improve the model for everyone'을 끄면 사용자 제출물을 학습에 쓰지 않도록 거부할 수 있더라. 이건 미리 알아둬야 함.

이 방향을 진지하게 파는 회사가 나와서 좋음. 로컬이나 자체 호스팅은 아니어도, 빠르고 싸면서 품질이 괜찮은 모델은 기업 추론에 쓸 자리가 있음.

'널리 쓸 수 있는 GPU'라고 해서 오픈 웨이트인 줄 알았는데 아니더라. 그 점은 아쉬움.

Inception의 확산 기반 아키텍처는 흥미로운 편임. 2.5 프리뷰를 써보니 범용 챗봇으로는 쓸 만하고 구세대 오픈 웨이트 모델 수준의 문제 해결력은 있는데, 커스텀 하니스에서는 범용 도구 사용과 에이전트 코딩이 약했음.

멀티 모델 시스템의 단점은 LLM 심사 모델이 더하는 지연인데, Mercury 2가 꽤 괜찮았고 초당 1,100토큰이면 llm-consortium의 판정 모델로 잘 맞을 듯함.

Mercury 2.0으로 음성 에이전트를 시험했는데 빠르고 무난했음. 다만 성격 모사는 Gemma가 더 나았고, 캐시 사용이 자주 빗나갔는데 지원팀 응답은 빨랐음.

논리나 역사 관련으로 뽑아본 텍스트 출력은 마음에 들었음.

속도 비교는 2~3세대 전 Flash나 fast 모델과 하고, 지능은 Mercury 2와만 비교함. 이 비교 방식은 꽤 오해를 부르고 모델이 실제로 쓸모 있을지 의심됨.

정말 엄청 빠름.