Show HN: 로컬 영상·음성을 Whisper로 전사해 단어 조회와 Anki 문장 채굴을 묶은 SubSmith

가상물로 언어를 배우는 게 늘 적절한지는 모르겠지만, 학습자 관심사에 맞는다는 장점은 있음. 팟캐스트처럼 자연스럽게 말하는 자료에도 쓸 수 있고, 결국 사용자가 입력할 미디어 파일을 구해야 하는 게 가장 큰 장벽 같음.

몰입 학습에서는 가상물도 쓸 만하고, 어휘가 지나치게 특수한지만 보면 됨. 시스템 오디오를 받아서 컴퓨터에서 재생 중인 영상·음성도 전사하는 기능을 고민 중인데, 앱 구조가 크게 바뀌어서 먼저 의견을 듣고 싶음.

자동 자막은 좋지만 아직 '정확하다'고 부르기엔 이르다고 봄. 많은 언어에서 모델 성능이 약하고, 유튜브의 영어·독일어 자막도 오류를 자주 봄.

유튜브 자막은 내부 구현을 모르겠지만, 이 앱은 Whisper Large를 써서 더 낫다고 봄. 대신 파일을 디스크에 두고 조금 더 기다려야 함.

영어조차 미국 도시 억양 밖으로 나가면 자동 자막 오류가 눈에 띄게 많음. 영국·아일랜드·호주·뉴질랜드·남아공의 일반적인 억양도 그렇고, 지역 억양이나 방언은 자막이 사실상 못 쓸 수준인 경우가 많음.

일본어 학습 쪽에는 이미 문장 채굴 앱이 아주 많음. asbplayer, Manatan, Yomine, Anki Miner, AnimeCards, Nagare 같은 영상 도구가 있고 게임·만화·전자책용 도구도 있음.

asbplayer와 Anki Miner만 들어봤고 나머지는 몰랐음. 일본어에만 맞춘 도구가 많아서, 나는 더 많은 언어를 지원하고 기술에 익숙하지 않은 사람도 덜 번거롭게 쓰게 만드는 쪽을 노림.

일본어 학습자와 소프트웨어 만드는 사람의 벤 다이어그램은 거의 원 같더라. 그래서 일본어 학습 앱 시장이 특히 포화된 것 같음.

나도 중국어 간체 학습용으로 거의 같은 시스템을 만들었음. AI 도움으로 웹 기반 앱을 만들었고 Docker로 자체 호스팅할 수 있음.

기능 자체는 복잡하지 않다고 봄. 나는 UI와 마찰을 줄이는 기능, 안정적으로 계속 쓸 수 있는 앱을 만드는 데 더 관심 있음.

LLM과 AI 코딩 시대에 이 정도는 복제 가능해 보이는데 왜 연간 구독이나 유료인지 모르겠음. 솔직히 오픈소스로 나와도 될 도구 같음.

복제는 가능해도 대부분은 직접 앱을 만들기보다 돈을 내고 쓰려 함. 사용성, 지원, 지속적인 개선에 돈을 내는 거고, 연간 요금 외에 평생 라이선스도 둠.

자동 자막은 짧은 오디오만으로는 알 수 없는 맥락 때문에 본질적으로 틀릴 수 있음. 언어 학습자가 출력이 틀렸는지 어떻게 판단하나.

초보자용이라기보다 오류를 알아차리거나 의심할 수 있는 중급자용으로 잡고 있음. 인라인 편집기로 고칠 수 있고, Whisper Large는 음질이 좋고 일반 발화면 성능이 괜찮지만 여러 소리가 겹치면 문제가 생김.

나는 Language Reactor를 만족스럽게 쓰고 있어서 지금은 옮길 이유가 안 보임. 다만 거긴 ASR이 자주 내려가더라.

일본어를 오래 공부했는데 결국 모바일에서 짧게 들락날락할 수 있어야 계속 쓰게 됐음. 노트북 앞에 앉아서 묶음 시간을 내야 하는 방식은 자꾸 포기하게 됨.

문장을 따로 저장해 공부하는 게 학습을 불필요하게 압박할 수도 있다고 봄. 학습자는 놀이하듯 몰입할 때 더 잘 배운다는 말도 있으니까.

높은 수준까지 가려면 진지하게 공부하는 부분도 피하기 어렵다고 봄. 원하는 방식에 따라 다르고, Duolingo 같은 게임형 앱은 효과를 두고 계속 의문이 제기돼 왔음.