브라이언 캔트릴, LLM 문체는 독자가 즉시 이탈하게 하며 Pangram 4가 탐지 정확도를 높였다고 주장
- 브라이언 캔트릴은 LLM 대필 글이 글쓴이와 독자의 사회적 계약을 깨며, 글쓴이가 직접 만들지 않은 문장을 독자가 해석하도록 떠넘긴다고 비판함
- 신시아 던롭의 개발자 668명 설문에서 78%가 LLM 글을 감지하면 즉시 읽기를 멈추고, 71%는 이후 그 글쓴이를 피하며, 98%는 LLM이 다듬은 글보다 글쓴이의 불완전한 원고를 선호한다고 답함
- 캔트릴은 초기 스팸처럼 LLM 글도 대규모 식별이 가능해지면 배포의 경제성이 무너질 수 있다고 봄. 스팸 필터가 개선된 뒤 스팸 판정이 도메인과 브랜드에 큰 손해를 주게 된 사례를 듦
- 기존 탐지기는 거짓 음성이 많거나 대시 같은 표면적 문체 신호에 의존해 신뢰하기 어려웠다고 함. Pangram 3는 수개월 사용 경험상 거짓 양성이 낮았지만 거짓 음성은 남았다고 평가함
- 캔트릴은 한 달여 전 나온 Pangram 4가 Pangram 3보다 크게 나아졌고, 자신의 사용 경험에서 거짓 양성과 거짓 음성이 모두 낮았다고 주장함
Hacker News opinions
글은 완성품만이 아니라 생각과 경험을 발견하는 과정이기도 함. AI로 초안을 만들고 게시 전 비평받을 수는 있지만, 통째로 맡기는 게 문제라고 봄
HN 상위 100개 글에 Pangram 판정을 붙이는 브라우저 확장 기능이 있으면 좋겠음. 요즘 클릭하는 첫 화면 링크의 약 20%가 AI 글처럼 느껴져서 읽을 시간을 아끼고 싶음
이미 Hacker News AI Detector라는 사이트가 이 일을 하고 있음. 다만 API가 없고 Pangram 사용료도 비싸서 확장 기능으로 만들기 어렵겠더라
글쓴이가 Pangram을 칭찬하고 Oxide and Friends에 CEO를 초대한 건 PR성 상호 홍보 아닌가 싶었음
그 추측은 틀렸다고 봄. Oxide 쪽 답변은 Pangram과 거래한 게 없고, 지금은 PCIe 클록 버퍼 확보가 더 절실하다는 농담이었음
내가 쓸 시간조차 들일 가치가 없는 글이면 내가 읽을 가치도 없음. 요즘 성과물처럼 내미는 슬라이드, 구글 문서, 위키 글에도 똑같이 적용됨
다만 창업자가 엔젤에게 보내는 짧은 AI 보조 피치 덱은 전보다 나아진 경우를 봤음. 형식이 뻔하긴 해도 초기 창업자 덱보다 사업 중심으로 정리되는 편임
AI 썸네일은 유튜브에서 사람 제작 썸네일보다 클릭률이 2%에서 5% 높다는 데이터가 있음. 싫다는 사람이 커도 실제 인센티브는 남아 있음
사람들이 AI 글을 정확히 가려낸다는 건 어떻게 검증하나 싶음. 알아채지 못한 AI 글은 본인도 AI 글로 집계하지 못하니, 노출량과 감지율을 모르면 전체 상황을 단정하기 어려움
그래도 많은 사람이 원문을 거의 손대지 않고 붙여넣기해서 반복되는 리듬과 표현이 너무 뚜렷함. 들키지 않는 글은 적어도 사람이 실제로 고쳐 쓴 경우고, 그 차이가 중요함
문제는 출처 자체보다 기본 LLM 문체가 과장되고 피곤하다는 데 있음. 할 일 앱 README도 스릴러, 정치 연설, 특종 기사처럼 쓰니 많이 읽은 사람은 금방 알아챔
회사에서도 봇으로 명세와 설계 제안서를 쓰는 사람이 있는데 읽기 싫어짐. 조사 보조는 괜찮지만, 봇이 짜깁기한 문서는 읽지 않겠음
동료가 1:1 Zoom 통화 중에도 Claude에 입력한 뒤 답변을 읽어 줌. 직접 대화하고 일하고 싶다고 여러 번 말했지만 못 끊더라