The Consensus, AI 티 탐지기로 피드 글 선별 방식 공개
- The Consensus가 AI 티 탐지기를 사이트에 붙여서 피드 글 중 상위 1%에 드는 글은 At a Glance, 소셜 미디어, 주간 뉴스레터 추천 대상에서 제외함
- 탐지기는 머신러닝 모델이 아니라 정적 규칙으로 이루어져 있고, 2023년 이전 글과 이후 글을 비교해 만들어짐
- 탐지기는 AI가 썼다고 판정하지 않고 AI 글을 떠올리게 할 수 있다는 정도만 표시하며, 저자 본인 글도 확실하다고 잘못 표시한 적이 있음
- Pangram 같은 상용 탐지기는 정확하지만 모든 글에 돌리기엔 비용이 너무 커서 자체 도구를 만듦
- AI 글을 완전히 걸러내지는 않고 피드에서 aitells<90 검색이나 반짝이 아이콘 필터로 골라 볼 수 있게 둠
Hacker News opinions
링크가 없다는데 글 보니까 소스 코드를 통째로 공개해놨더라. LLM 에이전트로 비슷한 도구 만들 수 있을 것 같음. 그러면 글 다양성도 좀 살아날지 모름.
나는 이건 in-house 도구라고 읽었음. Pangram을 모든 글에 돌리면 비용이 너무 커서 직접 만든 거 같음.
글 품질만 보면 되지 않나 싶음. AI 패턴 잡는 건 결국 취향 문제인 듯. 그래도 템플릿에 덜 기대는 글이 늘면 좋겠음.
아니 품질 판단은 나도 할 수 있음. 근데 사람이 직접 쓴 건지는 알고 싶음. 그게 중요한 메타데이터임.
AI 글은 생산 비용이 거의 0이라 사람 글을 밀어냄. 그래서 통째로 걸러내는 게 맞다고 봄. 억울한 케이스가 좀 있어도 어쩔 수 없음.
노력 안 들인 글을 내가 굳이 읽을 이유가 없음. 주의력 전쟁 중이라 노력 투입량이 가치 필터 역할을 함.
나는 comprehension bitrate 기준으로 봄. AI 결과물은 정보 밀도가 낮아서 알아듣기 힘들더라. 다만 사람이 쓴 프롬프트는 정보량이 훨씬 높음.
글쓰기가 곧 생각이라 봄. AI한테 글 맡기면 생각도 맡기는 셈임.
AI 티라고 부르는 것 중 상당수는 원래 좋은 글쓰기 패턴을 너무 자주 쓴 거임. 세 개 나열도 한 문단에 세 번이면 과함.
차세대 모델은 AI 글인지 구별하기가 훨씬 어려워질 것 같음. 벤더가 글 티를 줄이는 건 기술적으로 막힌 게 아니고 우선순위 문제임.
설문 말고 실제 연구를 봐야 함. 사람들은 자기 선호를 잘 모름.