Cloudflare, 검색 색인은 유지하고 AI 학습만 거부하는 Disallow AI Training 공개

솔직히 좀 늦은 감이 있음. 사람들이 검색 대신 AI 요약부터 보는 쪽으로 옮겨간 마당에 AI 허용한 사이트가 결국 살아남는 구조 아님? 광고 붙여서 수익 내려는 방식은 이제 끝물이고, 새 비즈니스 모델이 필요함.

그런 태도는 독립 퍼블리셔의 유일한 수익원을 깎아내리는 것뿐임. 대기업이 똑같이 하는 건 '원래 그런 거지' 하고 넘기면서 말이지.

이 설정이 실제로 뭘 하는지 궁금함. IP 대역까지 막아주는 건가? Meta가 Accountable 지킨다는 건 아무리 봐도 못 믿겠음.

이상한 건 분석 수치임. 아무것도 없는 index.html 페이지가 하루에 1만 히트를 찍는다는 게 말이 되나.

분당 7회면 그럴 만함. 나는 고등학교 홈페이지를 인터넷 연결 테스트용으로 쓰는데, 도메인이 짧고 TLS 리다이렉트가 없어서 WiFi 포털 감지하기 편함.

CF 수치 부풀리기 심함. 방문자 10만인 사이트한테 월 100만 방문 중 90만을 막아줬다고 하더라. 큰 숫자로 기분 좋게 만들어주는 거지.

Amazon, Anthropic, Meta, OpenAI를 Accountable로 분류한다는 부분. 검색용과 학습용 크롤러를 분리해놨다는 건데, Meta나 OpenAI가 용도대로만 쓴다고 믿기 어려움. 핑키 프로미스에 무슨 가치가 있나.

구글이 2023년에 Google-Extended로 AI 학습 옵트아웃을 지원했다는 건 몰랐음.

Web Bot Auth 같은 프로토콜이 더 퍼질지 궁금함. 자기 정체를 밝히는 봇에는 지원 메커니즘이 되고, 나머지는 Anubis로 처리하는 식. 나는 Envoy 다이나믹 모듈로 구현 실험 중임.

나는 MCP 채용 프로토콜 ojcp에 이걸 붙여서 테스트 중인데 헤더 레벨 서명 검증이 잘 됨.

클라우드 IP 대역 DB를 관리 중이라 직접 테스트해볼 예정인데 회의적임. Accountable™ 라이선스 갱신하라고 메일 오는 상상이 됨. IP 용도 핑키 프로미스만 다시 하면 되는 거지.

Accountable은 그냥 예쁜 말로 포장한 핑키 프로미스임. 한 번 긁어간 데이터가 학습에 안 들어간다는 보장이 어디 있나.

그걸 막으려면 결국 모든 걸 DRM으로 감싸야 하는데, 그런 디스토피아는 원하지 않음.

'Cloudflare는 행동으로 봇을 분류한다'는 게 정말인지 모르겠음. 요즘 브라우저 아니고 JS 안 켜면 다 봇으로 취급함. CF 사이트의 Permissions-Policy 헤더랑 Internet Archive 헤더를 비교해보면, 한쪽은 광고 지향이고 한쪽은 사용자 지향임.

Anthropic과 OpenAI한테 50개 넘는 사이트가 DDoS급으로 긁히는 걸 몇 달 겪었는데, CF는 자기 기준 '좋은 봇'을 모든 차단 규칙에 예외로 통과시켜줌. 돈 내지 않으면 끄는 옵션도 없음.

Big Browser 편드는 user-agent 차별이 제일 불만임. 실제 행동이 아니라 UA로 거르니까, 공인된 브라우저와 OS 스택 돌리는 VM은 돈만 내면 다 통과함.

우리 사이트엔 쓸 만함. 경쟁사 AI가 우리 연구 데이터로 모델 학습하는 건 막고 싶음.

'공개지만 아님' 식으로 데이터를 분류하려는 시도는 결국 실패한다고 봄. AI 회사들이 다 약속을 지킨다 쳐도, 누가 긁어서 되팔면 그만임. 세상에 공개한 콘텐츠가 어딘가 DB에 들어가는 걸 원치 않으면 발행하지 말아야 함.