Mistral이 Voxtral 3 공개, 50개 이상 언어 음성 인식과 음성 에이전트 SDK 포함

클로즈드 모델이라 일단 관심 꺼짐. 로컬에서 못 돌리면 음성 데이터를 외부로 보내야 하는 게 제일 걸림.

기사에 나온 EU 호스팅 API랑 자체 배포가 무슨 뜻인지 모르겠음. 자체 배포가 되면 오픈 웨이트 아닌가?

로컬용으로는 Kokoro가 제일 좋더라. 82M이라 폰에서도 실시간으로 돌아가서 PDF 오디오북 만들 때 씀.

Qwen ASR이랑 QwenTTS 써봤는데 꽤 괜찮고 크기도 안 큼. pocket-tts도 좋은데 언어가 몇 개밖에 없음.

Voxtral 시리즈는 팟캐스트를 텍스트로 바꿀 때 잘 씀. 화자 구분도 괜찮고, 예전 버전은 말이 없을 때 텍스트를 지어내지 않아서 좋았음.

영상에서 응답 지연을 1초 이하로 잡는다고 하던데, 데모 보면 지연이 거의 없음.

핵심은 STT/TTS보다 실시간 추론 모델을 대화 원문에 붙인 부분인 것 같음. 도구 호출 지연을 숨기는 방식도 그렇고.

TTS 예시 들어보니까 1세대는 사람 목소리 같은데 이번 건 그냥 AI 슬롭 같은 목소리임.

유튜브 자막이 실제 말이랑 많이 다른 건 규모 때문인 듯. 매 분 500시간짜리 영상이 올라오는데 제일 큰 모델을 다 못 돌리지.