Roblox 크롤러, 3D 모델 사이트 712개 프로젝트에서 145.5GB 무단 다운로드

요즘은 AWS, DigitalOcean, Azure 같은 데서 오는 트래픽을 통째로 막아버리면 봇 상당수가 사라짐. 그것만으로 충분하진 않지만 거절할 수 있는 곳은 거절하는 게 낫더라.

근데 그 IP 목록은 어떻게 찾음?

내가 보는 봇 트래픽은 거의 다 주거용 프록시임. 데이터센터만 막아서 될 일이 아님.

그렇게 막으면 Azure VPN 게이트웨이로 붙는 사무실 고객을 통째로 잃음. 처음엔 좋다 싶었는데 이 얘기 듣고 접었음.

주거용 프록시는 이미 흔해졌음. HN에도 그 얘기 나온 글이 있었는데.

단일 IP에서 오는데 요청 제한 하나 못 걸었나? Cloudflare 같은 걸 안 쓴 이유가 궁금하네. IP가 흩어졌으면 몰라도 이건 너무 뻔한데.

누가 신경 씀? AI 혁명이라는 게 남의 데이터 먹고 AGI 만드는 거 아니었나. OAI가 앞장서면서 이미 받아들인 희생이라고 봄.

그 '우리'는 실리콘밸리 방구석 몇 명임. 대부분은 싫어하고 발언권도 없음.

성인 콘텐츠 강조는 싸구려 분노 유발용이라고 봄. 디퓨전 모델에서 성인 데이터 빼면 인간 신체 표현부터 품질이 떨어지는 게 여러 번 확인됐음.

성인 콘텐츠가 섞였다는 게 그 회사 행동을 덜 나쁘게 만들어줌? 논점이 왜 거기로 감.

다운로드 가능하게 둔 사람이 잘못 아닌가. 뉴스가 뭐임?

robots.txt도 읽고 무시했고 ToS도 어겼고 712개 중 423개가 비상업 라이선스임. 예의 있게 덤프 하나 달라고 했으면 이 난리도 안 났음.

트래픽 $3어치 가지고 뭐가 뉴스냐는 사람도 있는데, 문제는 크기가 아니라 미국 대기업이 약관 무시하고 무단으로 긁어간 거임.

145GB면 램에 들어가는 용량 아님? 그 정도로 서버가 죽나.

145GB 램을 어디서 굴림?