dettato 오디오-MIDI 모델, 20M 파라미터로 1.3B급 muscriptor를 앞섰다는 Show HN
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- dettato는 20M 파라미터 규모 모델로, 댓글에서 1.3B 규모의 muscriptor보다 낫다고 언급됨
- 댓글에 따르면 onset(음 시작) 정확도가 가장 강하고 offset(음 길이)이 가장 약하며, 벤치마크는 GitHub에 공개됨
- 여러 악기가 동시에 연주되는 녹음에서는 악기를 헷갈리고, 피아노 독주도 피아노, 기타, 드럼 파트로 나뉘어 출력됨
- 학습 데이터를 퍼블릭 도메인 녹음만으로 구성했다는 점이 댓글에서 높이 평가됨
Hacker News 의견들
솔로 파트는 꽤 잘 나오는데 여러 악기가 동시에 나오면 바로 헷갈리더라. GP5 변환기 만들려고 써봤는데 거기가 제일 아쉬움.
피아노 독주 파일 넣었더니 피아노, 기타, 드럼 파트로 쪼개져서 나옴. 단일 악기로 강제하는 옵션은 없는 거임?
강제 옵션은 없어서 후처리로 악기 바꿔야 하는 걸로 보임. 나는 로컬에서 단일 트랙으로 뽑는 프로그램 따로 써봤는데 피아노는 쉬운 편이더라.
팝이랑 록 녹음 돌려봤는데 꽤 잘 됨. 보컬은 좀 뭉개지는 편이고 랩은 아직 안 해봄.
Phish 기타 트랙 45분짜리 돌려봤는데 GPU는 에러 나고 CPU로 끝까지 돌아감. 결과는 꽤 괜찮았음.
Dixie Dregs 피아노 솔로 넣어봤는데 거의 완벽하게 잡아내서 놀랐음. 채보 속도가 확실히 빠름.
학습 데이터를 퍼블릭 도메인 녹음만 쓴 점이 제일 좋음. 기술이 음악가 일을 뺏는 대신 접근성을 높이는 쪽이라 반가움.
벤치마크 보니까 onset은 강하고 offset이 약하다던데, 음 길이 정확도가 올라오면 실사용 쓸 만해질 듯.