구글, 실시간 4.0%·녹음 2.6% WER을 내세운 Gemini 3.5 Transcribe 공개

외국어 공부 중이라 영화나 영상의 자막을 제대로 끊어 주는지가 궁금함. 내 이해와 대조하는 용도로 쓸 만하면 좋겠음.

안드로이드 Gboard에서 쓸 수 있다는데 아직 안 보임. 구글 기능은 몇 달에 걸쳐 순차 배포하는 경우가 많아서 언젠가 써 보게 될 듯.

알아보니 Rambler는 Gboard 안의 이름 붙은 하위 기능이고 Pixel 10 이상과 최신 삼성 폰에서만 되는 것 같음. 사용자는 별도 앱이나 설정이 아니라 받아쓰기가 좋아진 것으로만 느낄 듯.

WER이 받아쓰기의 가장 큰 문제를 재는 지표인지는 모르겠음. 문장 끊기를 엉뚱하게 넣고 틀린 결과를 다시 검토하지도 않아서, 나중에 고치려면 직접 타이핑한 것보다 더 힘들 때가 있음.

STT 뒤에 다른 모델로 정리 패스를 돌리면 꽤 고쳐짐. STT가 자주 틀리는 부분을 clean-transcript.md에 적어 두면 더 효과가 있더라.

Chirp처럼 잡음이나 무음에서 "I don't know"를 계속 만들어 내는 환각이 있는지 궁금함. 우리는 타임스탬프 정확도 때문에 Whisper로 처리한 뒤 Gemini Flash로 전사문을 고치는 방식으로 돌아갔음.

무음과 잡음만 넣고 꽤 평가했는데, 우리 서비스는 환각 응답이 치명적이라 이 부분을 봤음. 이 모델에서는 환각이 없었고, 정확히 20초 무음이면 가끔 403이 나는 버그는 있었음.

Pixel 11 Pro에서 써 봤는데 긴 말을 편하게 넣을 때는 좋지만, 정확한 표현을 말하면 멋대로 단순화해서 뜻을 바꾸는 게 문제임. "전에 확인하려 망설였고 검증했어야 했다"를 반복해도 앞부분을 계속 지워 버리더라.

Smart 모드인지 Verbatim 모드인지 확인해 봐야 함. 전사 모드에 따라 그런 정리 동작이 달라질 수 있음.

회사 회의의 독일어, 이탈리아어, 영어 음성과 업계 용어, 문장 안 언어 전환까지 넣어 STT 20개 이상을 시험했음. 로컬에서는 Voxtral Mini 3b만 만족스러웠고 유료 API는 ElevenLabs가 조금 더 나았음. 내 컴퓨터에서 쉽게 돌릴 수 있는 쪽을 버릴지는 모르겠음.

나도 다국어 대화를 제대로 처리하는 로컬이나 클라우드 모델은 Voxtral뿐이라고 봄. 한 문장 안에서 언어가 섞이거나 업계 용어가 나와도 다른 모델보다 덜 흔들림.

ElevenLabs Scribe보다 비싸고 성능도 낮다는 평가라면 대상 사용자가 누군지 모르겠음.