위키백과 'AI 정리' 프로젝트, 2023년 상투구 단속에서 2025년 'rule of three' 탐지로

미래엔 AI가 백과사전 콘텐츠를 제대로 뽑아내고 그걸 검증하는 도구도 나올 때가 오겠지. 근데 오늘은 아니고, 특히 검증 쪽이 문제임.

앵무새는 아무리 잘해도 진짜 출처가 될 수 없음.

확률 시스템은 그렇게 안 굴러감. 80%까지는 잘 가는데 마지막 20%가 지독하게 어려움. LLM 유용한 건 맞지만 뭐든 되는 마법 상자는 아님.

Grokipedia가 존재 증명임. 되는 건 된다고.

정확도 문제를 다 걷어내도, 검증 도구가 인간 루프 밖에 있으면 학습 데이터 편향이 그대로 정보원을 오염시킴. 모델 만드는 나라들이 자기 역사를 어떻게 다루는지 보면 권위 있는 출처 집필을 LLM에 맡기는 건 무모한 짓임.

코딩과 수학은 검증이 쉬운데 산문은 아니잖아. 그래서 LLM이 그 경지에 쉽게 못 간다고 봄.

Latentpedia.org는 그 문제가 없음. 콘텐츠는 사람이 쓰고, 그래프 뽑고 잠재 공간 만드는 것만 AI가 함.

요즘 사이트마다 AI 콘텐츠 정리한다는 소식만 들림. 반가운 일임.

안 할 수가 없지. AI 글은 처음엔 그럴듯한데 양이 늘면 다 비슷하고 잡음 같아짐. AI는 계속 쓸 도구지만 권위 있는 글쓰기는 아님. 위키백과만 싸우지 말고 과학계랑 저널리즘도 좀 나서줬으면.

100% 동의. 글에서 pangram 쓰는 것 같은데 그거 Grammarly 같은 것도 잡아낸다고 하더라. 그게 참 회색 지대임.

나중엔 LLM 회사들이 돈 주고 요청할지도 모르겠음.

AI 열렬히 지지하는 입장인데, AI 안 섞인 출처가 몇 개는 필요함. 위키백과가 딱 그 자리임. 출처 확인이나 피드백, 번역엔 AI 쓰고 본문은 사람이 쓰자.

재밌는 게 나도 딥시크로 'AI 백과사전' 프로젝트를 시작했음. 내가 편집자 겸 검토자고, 남 보여주려는 건 아니고 혼자 재미로 하는 중.

환경이나 정치 논쟁 다 빼고, 위키백과에서 AI 글의 문제가 뭔지 모르겠음. 인용 위조는 인간도 수백 년째 해온 짓이고, 품질이 문제라면 생산자가 문제가 아니잖아. 탐지가 그렇게 어렵다면 AI가 이미 인간 수준 글을 쓰고 있다는 뜻 아닌가.

품질이 문제인 건 맞는데 편집자 대역폭은 입력이 늘어난다고 같이 안 늘어남. 그래서 AI 콘텐츠를 잘라내는 게 평균 품질 유지에 효과적임.

산더미 같은 슬롭을 누가 다 검토함? AI가 만드는 진짜 문제는 낮은 품질의 대량 생산이 사람 병목을 덮쳐버리는 것임.

10년 전에 위키백과 AIDS 문서를 20분 동안 재밌게 읽었는데 지금은 페이지 몇 개짜리임. 사실일지 몰라도 읽는 맛이 없어짐. AI 때문인지는 확실치 않음.

위키백과는 백과사전이라 상세할수록 좋음. 짧고 쉽게 읽고 싶으면 쉬운 영어 위키백과가 따로 있음. 재밌게 읽히게 만드는 건 과학 저널리즘 쪽 일이고.

AI랑 상관없음. 적어도 10년 전부터 그랬음.

9.4k 단어면 좀 많은데, Emergence 섹션을 따로 떼어내는 게 낫겠음.