5만 개 가짜 통계 사이트가 ChatGPT 인용으로 살아남은 실험
- 가짜 통계 5만 개를 GPT-4.1로 하루 만에 만들어 새 도메인에 올렸고, 비용은 약 50달러임
- 구글은 사이트를 색인에서 빼버렸지만 ChatGPT는 7개월 동안 AI 세션을 1만 건 넘게 보내옴
- 330개 넘는 도메인이 링크를 걸었고 Shopify, Bluehost, DHL 같은 기업 도메인도 포함됨
- 가짜 수치가 학술 논문과 은행의 투자 리서치에도 그대로 들어감
- 최근 30일간 봇 요청 60만 건 중 약 7만 2천 건이 ChatGPT-User에서 왔음
Hacker News opinions
AI는 데이터가 가짜인지 신경 안 씀.
프롬프트로 팩트체크 하라고 시키면 되지 않음? 사람도 가짜 데이터에 잘 속는데 그건 AI만의 문제가 아님.
Wikipedia 욕하던 사람들이랑 비슷한 얘기임. 출처를 교차검증하도록 프로그래밍하면 AI도 출처 등급을 매길 수 있음.
이 실험 자체는 좋은 작업임. 일반 대중한테 이런 게 실제로 먹힌다는 걸 더 알려야 함.
이거 진짜 미친 일임. 사람들이 아직도 ChatGPT로 보고서 써서 상사한테 내는데, 가짜 수치가 눈덩이처럼 불어나는 중임.
인터넷에 거짓말 안 올리는 세상을 전제로 한 시스템은 원래 깨져 있는 거임. 사람이든 기계든 그냥 믿고 베끼는 게 진짜 문제임.
LLM이 검증된 출처만 보게 하면 되지 않나? 근데 결국 NYT는 신뢰, 블로그는 불신 같은 규칙으로 땜빵할 것 같음.
YouTube 요약 기능도 모델이 몇 달 뒤처져 있어서 Nikon ZR 영상을 Z8이라고 잘못 적어버림. 검색 정확도만 떨어뜨리는 셈임.