음정 이탈 구간을 보여주는 노래 연습 앱 OnKey 공개, 음정 감지에 CREPE 모델 사용

음정은 어떻게 잡음? 사용자 쪽은 CREPE-tiny를 Rust로 옮겨서 ONNX Runtime에서 돌리고, 가수 쪽은 풀 버전 CREPE를 씀. 보컬 분리는 UVR로 함.

Rock Band 같은 리듬게임 생각나더라. 그거로 음감이 좋아진 건 아닌데 연습할 동기는 확실히 됐음. Yale 상대음감 테스트도 해봤는데 15 퍼센타일 나옴.

노래방처럼 혼자 있을 때만 부르는 사람인데, 이거 쓰면 남 있는 데서도 생일 축하 노래 정도는 조용히 부를 수 있을 것 같음.

데모 영상이 레드 핫 칠리 페퍼스를 쓰는데 노래 가르치는 모델이 앤서니 키디스라 좀 웃김. 농담임, 앱 자체는 좋아 보임.

webview/tauri를 왜 씀? 바이브 코딩 같은데 스위프트로 했으면 훨씬 가볍고 부드러웠을 것임. 리소스 좀 존중하자.

맞음. 파이썬 웹 프론트로 시작하다가 이렇게 됨. 모델 파일 365MB가 대부분이라 네이티브로 해도 100~170MB 정도밖에 안 줄어든다고 함.

Tauri도 꽤 빠르고 멀티플랫폼을 무료로 지원해서 나쁘지 않음.

노래는 음정만이 아니라 호흡, 벨팅이나 헤드보이스 같은 발성 기법, 프로소디랑 리듬도 중요함. 입문용으로는 좋은데 이런 것도 같이 언급해줬으면 좋겠음.

데모 보니까 앱이 계속 GREAT, PERFECT 해주는데 박자는 엉망이고 한 옥타브 낮게 단조롭게 부르더라. 호흡이랑 발성 잡힌 다음에 음정만 볼 때 쓰면 좋을 듯함. 잘 부른다고 착각하면 위험함.

백킹 보컬 잡히면 그 구간을 점수에서 빼는 옵션 있음? 지금은 없고 해볼 만한 기능이라고 작성자가 답함.