로컬 음성 비서 파이프라인 재구성기, 댓글은 실시간 API와 Parakeet 모델 얘기로 쏠림
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- 댓글에 따르면 STT, LLM, TTS가 순차로 도는 구조가 응답 지연의 주된 원인임
- 한 댓글 작성자는 정규식 숏서킷 플러그인을 음성 인식 직후에 넣어 조명 같은 명령을 1초 미만으로 실행함
- 댓글에 따르면 microWakeWord로 직접 웨이크워드를 학습하는 데 녹음 몇십 개면 충분함
- Parakeet 110M 4비트 양자화 모델이 Whisper보다 정확하고 라즈베리 파이에도 들어갈 크기라고 댓글에서 소개됨
Hacker News 의견들
웃긴 게 나도 정규식 숏서킷 붙였는데 조명 같은 건 1초 안에 바로 실행됨. 안 맞으면 어시스턴트한테 넘기고 거기서 정규식을 고쳐줌.
나도 질문표 트릭 똑같이 넣었음. STT랑 TTS는 whisper/piper로 충분히 빠른데 LLM 호출이랑 동시에 안 돌아가서 느린 거임. 결국 ESP32용 openai realtime 플러그인 포크해서 고쳐 씀. 비용은 좀 나와도 가끔 쓰니까 훨씬 나음.
실시간 방식이 답이라는 데 동의함. 나는 Home Assistant Voice PE용으로 voicepe-realtime 만들어놨음. OpenAI Realtime에 barge-in이랑 커스텀 웨이크워드 붙인 거임.
홈어시스턴트랑 대체 관계임? 보완 관계임?
홈어시스턴트는 기본으로 해주는 게 별로 없음. 플러그인 생태계라서 음성 비서도 그중 하나 골라서 까는 구조임.
안 쓰는 아마존 에코닷이랑 에코쇼가 이거 하기 딱 좋음. 홈어시스턴트랑 묶으면 거의 공짜로 만들 수 있음. echolocal 한번 보셈.
나도 에코쇼 루팅해서 키오스크 모드로 아이들 방에 음악 플레이어로 쓰는 중임. 웨이크워드 되는 걸로 내 방에도 하나 두고 싶은데 이 프로젝트 괜찮아 보임.
나는 빔포밍 마이크 어레이랑 케이스까지 직접 만든 earwing 있음. 하드웨어가 30달러 정도라 중고 에코닷보다 비싸긴 함.
음성 인식은 Whisper보다 Parakeet이 훨씬 낫더라. 안드로이드 테스트용으로 110M 4비트 양자화 버전 만들었는데 라즈베리 파이에도 들어갈 듯함.
parakeet-redux라는 1.58비트 양자화 버전도 있음. 원본이랑 성능이 비슷하다고 함. 원래 모델인 parakeet-ultra를 증류한 거라서 그렇다고 함.
나는 VAD 붙은 스트리밍 모델 학습시켜봤음. 라즈베리 파이 4에서 벤치마크 돌려본 결과 큰 모델은 한 코어로 되긴 하는데 저지연 스트리밍은 힘듦. 파이 5면 다 잘 돌 거임.
나는 whisper.cpp로 음성을 텍스트로 바꾸고 Kokoro로 읽어주는 중임. 잘 되긴 하는데 Kokoro 목소리가 아직 AI 티 나고 whisper 정확도도 좀 아쉬움. Parakeet이랑 Silero 한번 써봐야겠음.