Meta 수정 약관, 'train' 문구는 뺐지만 광범위 스크래핑 권한은 그대로
- Meta가 비즈니스 계정 약관에서 train 단어를 삭제하고 허용 용도를 광고 및 비즈니스 제품으로 한정함
- 수정된 약관도 웹사이트 스크래핑을 넓게 허용해서 robots.txt 설정을 넘어설 수 있다고 Loevy & Loevy의 Matt Topic 변호사 등 법률 전문가들이 지적함
- Meta 대변인은 초기 약관 통합 과정에서 robots.txt 존중 여부가 불분명했다고 설명하며 뉴스 사이트의 크롤러 차단 권한은 바뀌지 않았다고 주장함
- 새 약관은 10월 30일 발효 예정이고 비즈니스 계정이 발효 전에 옵트아웃할 방법은 없음
Hacker News 의견들
robots.txt는 믿지 마. 설정은 해두되 의존하면 안 됨. 봇은 할 수 있는 걸 다 하니까, 걔네 봇은 잡기 쉬우니 연결을 조용히 끊어버리는 게 답임. 소켓을 닫아서 웹 데몬이랑 OS에서 RST가 두 번 나가지 않게 막으면 더 좋음.
그럼 차라리 가짜 데이터를 먹이는 게 더 낫지 않음?
그걸 disabling이라고 부르는 건 부정확함. 그냥 정중하게 부탁하는 거임.
나 봇이랑 스크래퍼 짠 지 거의 20년인데, 나를 고용한 쪽에서 robots.txt를 물어본 적은 한 번도 없음.
UA 차단은 이제 의미 없음. meta-externalagent가 로테이션하고 일부는 Meta 아닌 ASN에서 나옴. 우리는 ASN이랑 TLS JA4를 같이 매칭했는데 그건 먹혔음.
Zuck이 Musk보다 왜 더 나쁜지 모르겠음. 올리가르흐는 다 싫은 건 맞는데.
저들은 우리가 자기 피드를 긁는 것조차 막으려고 엄청 공들임. 브라우저 확장이나 undetectable webdriver로 페이지에 이미 떠 있는 건 긁을 수 있음. 메인 계정으로 추가 요청은 날리지 마셈.
권한이 뭐가 중요함? 어차피 할 놈들인데.