Pianoify, Kyutai MuScriptor 기반 다악기 오디오 MIDI 변환 공개 인스턴스
Hacker News opinions
이 서비스는 Kyutai의 MuScriptor를 쓰는 것 같음. Mirelo와 만든 공개 모델이고, 악기 구성을 미리 몰라도 여러 악기의 연주를 MIDI로 옮긴다고 설명돼 있음.
응, 그 참조가 맞음. 다만 여기서 쓰는 건 MuScriptor의 최상위 모델은 아님.
Lotus의 'Shimmer and Out' 인트로 기타 리프를 넣어봤는데 귀로 듣기에 원곡과 1:1로 들릴 만큼 잘 나왔음. 내가 써본 Chordify는 이런 트라이어드 기반 리프를 자주 망쳤는데, 음악 학습 도구로 쓸 만하겠더라.
더 성능 좋은 변형은 Mirelo API에서 쓰거나 GPU에 직접 호스팅하면 됨. 이 공개 인스턴스가 전부는 아님.
'In the End' 인트로 전체도 완벽하게 처리했음. 코드도 GitHub의 jerryzhou196/pianoify에 공개돼 있음.