웨이백 머신, 자동 스크래퍼 급증에 429 차단 도입... 정상 사용자 오차단은 사과

크롤러한테 유료 엔드포인트를 열어주면 안 되나? 수요는 절대 사라지지 않을 텐데. 한쪽은 차단 걸고 다른 쪽은 TV에 VPN SDK 심는 구도에서 Cloudflare랑 하드웨어 회사만 이득 보는 거 아님.

남의 회사 콘텐츠를 아카이빙하는 것과 그 접근권을 파는 건 완전히 다른 문제임.

유료로 팔기 시작하면 사이트들이 IA 크롤러까지 같이 차단할 거임.

유료 엔드포인트를 만들어도 지금 IA를 두들겨패는 놈들은 무료 쪽 계속 남용할 듯. IA는 인터넷에서 제일 값진 보물 중 하나인데, 이 짓 때문에 퍼블리셔가 콘텐츠를 빼는 2차 피해까지 나옴.

마이크로페이먼트가 답임. 페이지당 몇 센트면 사람한텐 티끌이고, 하루에 1조 페이지 긁는 쪽은 다시 계산하게 됨.

유료 엔드포인트는 상업적 이용이 돼서 미국 저작권법 공정이용 논리가 무너짐. 4요소 중 이용의 성질이 걸림.

Cloudflare만 이득이라는 시각은 지금 사이트들이 겪는 피해를 빼놓은 거임. 콘텐츠 주인은 자원 도둑질을 막으려는 거고, 임시 IP 수천 개 동원해서 뚫는 쪽이 문제임.

확실히 원 사이트 차단을 피하려고 웨이백 사본을 긁는 스크래퍼 때문임. 유료 스크래퍼 API 중엔 Wayback Machine fallback을 기능으로 광고하는 것도 있음.

IA에서 일반 사이트를 보면 커버리지가 들쭉날쭉함. 홈페이지랑 몇 페이지만 있고 금방 끊겨서 전체를 긁으려는 목적엔 별로 쓸모가 없을 텐데.

결국 스크래퍼 때문에 Reddit이 old.reddit.com 익명 접근을 막은 것처럼, 웨이백도 벽 안으로 들어가거나 Cloudflare 뒤로 가야 할 듯.

어제 AI한테 페이지 좀 보라고 시켰더니 해커뉴스랑 Rails 포럼이 텍스트 페처를 막아서 브라우저 워크플로로 직접 본다고 하더라.

예전엔 돈 주고 본 기사 검증하려고 웨이백을 자주 긁었는데, 주요 언론사가 편집 고지 없이 기사를 슬쩍 고치는 걸 보고 놀랐음. 지금은 거의 불가능해졌지만 뭐라 하긴 어려움.

벌크 토렌트 다운로드 같은 대안은 없나?

스크래퍼가 노리는 게 그냥 아무 사이트나인가? 로그인 벽이랑 안티봇이 늘면서 예상된 결과임. 페이월 우회 하려고 HN 사용자들이 아카이브를 쓰는 것도 큰 이유였을 거고.

나는 스크래퍼 차단 때문에 오히려 일반인인 내가 막혀서 웨이백을 더 자주 씀. JS 끈 평범한 사용자인데도.

언젠가 인터넷 전체가 로그인과 신뢰 크롤러 허용목록 뒤로 들어갈지도. 열린 접근은 지속 가능해 보이지 않음.

아니, 과거 버전을 보는 건 실제 가치가 있음. 에이전트가 이 제품이 언제부터 있었나를 웨이백 이분 탐색으로 찾아내는 격차가 이미 사라졌음.

Anubis 뒤로 들어가지 않을까? 이미 그랬어도 이상하지 않은데, HN 스레드들 보면 Anubis는 효과가 없음.

회사 PC에서는 매번 429가 뜨는데 집이나 폰에서는 잘 됨. 회사가 막는 줄 알았는데 매번 그런 게 이상함.

직장 ISP가 스크래퍼로 묶여 있거나, 여러 회사에 IP를 임대하는 큰 블록에 걸린 걸 수도 있음.