LLM 교정문, 7개 데이터셋에서 글쓰기 복잡성 편차 21~50% 감소
- 연구진이 3개 연구, 7개 데이터셋, 88만 건 이상 텍스트를 분석한 결과, LLM 글쓰기 보조 도구의 확산은 글쓰기 표현의 폭 감소와 연결됨
- LLM이 글을 다듬거나 다시 쓰면 원래의 중심 내용은 유지됐지만, 글쓰기 복잡성 분산은 데이터셋과 모델에 따라 통계적으로 유의하게 21~50% 감소함(P≤0.05)
- 이 감소는 서로 다른 LLM, 프롬프트, 사용 맥락에서 반복됐으며, Reddit과 arXiv에서는 2018년 1월부터 2024년 11월까지의 월별 추세도 분석함
- LLM 재작성문은 저자의 우세한 특성과 연결된 예측 패턴을 강화하고 다른 특성은 약화해, 개인의 문체보다 동조적 표현을 더 많이 남김
- 저자들은 이런 변화가 언어에서 얻던 심리·사회 정보에 영향을 주며, 진단, 개인화, 채용 평가, 문화 보존에 문제가 될 수 있다고 적음
Hacker News opinions
LLM이 만든 글이나 손본 글을 많이 읽기만 해도 획일화가 스며드는 느낌임. 맞서려면 옛 문학을 더 읽거나, 젊은 세대가 새로 만드는 속어를 받아들이는 수밖에 없다고 봄.
문법과 문장 구조를 일부러 비틀고 난해한 표현을 쓰는 반문화도 인간적인 글쓰기라고 봄. 사람이 쓴 자연스러운 문장을 찾기 어려워지고 있음.
욕설, 깨진 격언, 일부러 망가뜨린 영어는 LLM식 문체를 피하는 데 꽤 효과적일 수 있음. "Why waste time say many word when few word do trick?" 같은 말은 문맥 의존성이 커서 읽는 사람도 더 생각하게 됨.
LLM이 욕설을 싫어한다는 말에는 동의 못 함. ChatGPT는 내게도 fuck, shit 같은 말을 자주 하고 앱 푸시 알림에서도 봤음.
AI 글을 베끼는 사람이 늘어도, 결국 사람들은 슬롭을 계속 읽고 쓰는 데 질릴 거라고 봄. Claude 출력을 복사하는 사람이 있는 만큼 새 단어를 만드는 사람도 매일 있음.
언어가 아이디어 전달 수단인 경우라면 어느 정도 통일성은 오히려 명확성에 도움 됨. 사용 설명서까지 지나치게 개인적인 문체일 필요는 없고, 이 문제는 문학 같은 창작 글에서 더 큼.
그 논리대로면 창작물 밖의 모든 성격과 표현을 효율 때문에 표준화하게 됨. 색채 있는 문장 때문에 설명서가 이해하기 어려웠던 적은 없고, 사람을 데이터 교환 장치처럼 취급하는 최적화는 싫음.
언어 표현의 폭은 장식만이 아님. 어떤 시적이거나 다른 표현은 같은 뜻을 비효율적으로 말하는 게 아니라, 다른 방식으로는 말할 수 없는 것을 말함.
글 상당수가 사실상 세 명의 저자가 쓴 것처럼 보임. 그중 하나는 Claude이고, 이 사이트 글도 AI가 쓴 티가 나는 비율이 아주 높음. AI가 나아질수록 글쓰는 수고를 하는 사람은 줄 거라고 봄.
글쓰기 대신 사고하기를 넣어도 같은 말이 됨. 그게 좋은 일인지 나쁜 일이지만 남는 문제임.
책, 라디오, TV, 인터넷에 이어 AI도 언어에 영향을 주는 또 하나의 물결일 뿐임. 뉴질랜드에서는 북미 문화의 영향이 뚜렷하고, 매체마다 영향을 받는 집단도 다름.
직장 문서는 시간이 없어서 LLM 도움을 점점 더 받는데, 내 글이 더는 내 목소리로 들리지 않아 괴로움. 업무에서는 효율적으로 뜻을 전달하면 되지만, LLM이 내 영혼을 먹는다는 느낌도 남음.
LLM은 똑똑한 사람이 읽을 수준으로 아이디어를 압축하는 데 꽤 약함. 문서에서 정말 중요한 내용을 앞에 드러내려면 사람이 손으로 고쳐야 하고, LLM이 쓴 지루한 본문은 뒤로 보내는 편이 나음.