LAION, 유튜브 URL 중심 8천만 영상·1천만 시간 규모 멀티모달 데이터셋 공개

1억3천만 개 중 80M을 받았고 성공률이 약 60%라는 게 놀라움. 유튜브가 어떻게 막지 않았는지 모르겠는데, 연구자가 나중에 이 URL 목록으로 다시 받으려 하면 유튜브가 금방 차단할 듯함

URL 목록만 준 게 아니라 실제 영상도 학술·비상업 연구용으로 접근 신청해서 받을 수 있는 것 같음. yt-dlp와 주거용 프록시 네트워크를 썼다는데, 요즘 유튜브가 yt-dlp를 더 세게 막는 건 맞음

다른 출처 영상이 많아서 성공률이 나온 줄 알았는데, Hugging Face의 BVD-URLs를 보니 URL 93.1%가 youtube.com임

aiohttp 안에서 yt-dlp를 돌려 1억 개 영상을 받으면 IP가 결국 플래그될 텐데, 프록시를 자동 순환하는 현실적인 방법이 뭔지 궁금함. 더 빠르고 안정적으로 대규모 다운로드하는 방식이 있나?

구글이 ISP에 제공하는 캐시 박스를 조작하면 원하는 영상을 내려받을 수 있다는 얘기도 있음

Tor로 프록시하면 됨. 연결 오류가 날 때 Tor 데몬에 SIGHUP을 보내 새 회선을 만들면 IP가 바뀜. 주거용 프록시만큼 결과가 좋지는 않아도 개인이나 학계가 감당하기엔 그쪽 비용이 너무 비싸고, Tor 방식도 의외로 잘 됨

8천만 개 영상의 제작자에게 ML 학습 사용 허락을 다 받았을 리는 없고, 아마 허락 없이 진행했을 것 같음

EU AI Act에서는 비영리 단체와 대학이 비상업용 데이터셋을 만들 때 이런 동의를 건너뛸 수 있음