Apple SpeechAnalyzer, 자체 벤치마크에서 Whisper Small까지 3배 빠르게 이김
- Apple SpeechAnalyzer는 LibriSpeech test-clean에서 WER 2.12%를 기록해 Whisper Small(3.74%)과 구형 SFSpeechRecognizer(9.02%)를 모두 앞섰다.
- test-other(노이즈 있는 음성)에서도 SpeechAnalyzer가 4.56%로 Whisper Small(7.95%)과 SFSpeechRecognizer(16.25%)를 압도했다.
- SpeechAnalyzer는 Whisper Small보다 초당 처리 속도가 약 3배 빠르면서도 정확도까지 더 높다.
- 벤치마크를 만든 회사는 Whisper 열의 결과가 OpenAI가 공개한 수치와 최대 +0.42%p 차이로만 벌어져 측정 방식의 신뢰성을 검증했다고 밝혔다.
- Hacker News 댓글에서는 이 비교에 Parakeet TDT, Voxtral, Nvidia Nemotron 같은 최신 모델이 빠져 있다는 지적이 다수 나왔다.
Hacker News opinions
나 이 벤치마크 만든 사람인데, WhisperKit이랑 Apple 엔진 둘 다 내 앱에 실제로 붙여놓고 같은 코드 경로로 LibriSpeech 5,559개 발화 돌린 거임. Apple이 SpeechAnalyzer 정확도 수치를 한 번도 공개 안 해서 다들 감으로 마이그레이션 결정하던 상황이었음.
Whisper나 Parakeet 같은 구식 모델 말고 Parakeet TDT 0.6b v2/v3 써보는 걸 추천함. 1년 전부터 나온 모델인데 정확하고 빠르고, 아이폰 15프로맥스에서도 잘 돌아감. Granite Speech 4.1이나 Cohere Transcribe도 괜찮은데 Parakeet가 거의 항상 낫더라.
왜 굳이 오래된 whisper 계열을 벤치마크하는지 이해가 안 됨, parakeet 같은 거 쓰지.
맥에서 Whisper large 모델 안 쓰는 이유가 뭐임? 스트리밍해도 빠르고 WER도 훨씬 낮은데. 그리고 요즘 Whisper 래퍼 앱이 넘쳐나는데 이 앱은 뭐가 다른 거임?
MOSS-Transcribe-Diarize라는 모델로도 벤치마크 돌려봐줘, 특히 노이즈 있는 오디오에서 다른 모델들보다 잘 나오더라.
Apple이 iOS/macOS 27에서 모델 개선한다고 했었는데, 베타 버전 수치도 보고 싶음.
나도 iOS 27 베타로 벤치마크 다시 돌려주면 좋겠음.
OpenAI VTT는 아직 못 따라옴. Anthropic은 별로고 Apple 건 아예 못 쓸 정도임.
98% 정확도인데 그게 왜 못 쓸 수준이라는 거임?
이거 진짜 대단한데, 맥 있으면 리버스 엔지니어링해서 가중치 뽑아서 torch나 burn으로 포팅하고 싶다. 깃허브에 코드 올리고 가중치는 토렌트로 풀면 되지 않을까.
그거 저작권 침해 아님?
말처럼 간단한 작업이 아님, 이론적으로는 가능해도 재미로 할 만한 사이드 프로젝트 수준은 아님.
Whisper small/tiny/base는 거의 4년 됐고 v2, v3 업데이트도 안 받았는데, 요즘 비교할 더 나은 모델 없나?
Voxtral이랑 Nvidia Nemotron이 최근 벤치마크에서 제일 좋더라, artificialanalysis.ai에서 스트리밍/오픈웨이트 필터링해서 볼 수 있음.
수학 강의 자막 다는 용도로 Whisper-Large-V2랑 비교해봤는데, SpeechAnalyzer가 훨씬 빠르고 살짝만 정확도가 떨어지더라. 실시간 자막 필요 없으면 그냥 Whisper 쓸 듯.
팟캐스트 앱에 반년째 쓰고 있는데 진짜 빠름, 아이폰 17프로에서 1시간 오디오를 1분 안에 처리함.
오픈소스도 아니고 로컬 실행도 못 하면 Home Assistant 같은 데서 Whisper 대체제로 쓸 수가 없잖아.