챗 LLM의 지능 착각은 심령술사 콜드 리딩과 같은 기제라는 2023년 글, 해커뉴스에서 갑론을박

나 심령술사한테 나비에-스토크스 방정식 풀려서 속은 적 있는데. 그리고 이 글 2023년 7월 4일 글임.

AI가 스스로 푼 거냐? 인간 수학자들이 정교한 기계를 도구로 쓴 거지. 도구 자체는 지능이 아님.

LLM이 유용한 것과 지능인 건 별개인데 이 구분이 쓸데없어 보여도 중요함. 지능 있는 존재라고 믿으면 잘못을 모델한테 돌리고, 통계 모델로 보면 사용자 오남용을 막으려 하게 됨. 요즘처럼 LLM한테 자기 범죄를 떠넘기려는 사람들한테는 더 중요해짐.

모델이 NS를 푼 게 아님. 인간이 통계 기반 계산 도구를 쓴 거고, 우리는 그 도구를 직접 써보지도 못했고 비용이나 에너지, 시간이 얼마나 들었는지도 모름.

의식 없는 모델 푸는 건 지능이랑 상관없음. 심령술사 비유의 핵심은 모델을 의인화하는 거고, ELIZA랑 클레버 한스, 중국어 방에서도 같은 현상이 나옴. Anthropic 연구자들도 Claude한테 감정을 물어보고 그 답으로 컨스티튜션을 고치는 폐쇄계를 돌리는데 그게 model collapse임.

글 내용은 맞고 유용한데, 심령술사는 frontier 수학 정리를 증명하거나 실제로 돌아가는 복잡한 소프트웨어를 만들지는 않음.

LLM과 에이전트가 지능은 아니어도 처리하는 데이터 양 때문에 지능 착각을 일으킴. 그렇다고 통제를 벗어나 큰 피해를 줄 수 있는 강력한 도구라는 사실이 사라지는 건 아님.

이 글은 모델과 긴 대화를 하다가 지능이라고 확신하게 되는 사람들 얘기임. 2026년에도 그 함정에 빠지는 사람이 있음.

LLM 혼자서는 못 함. 엄청난 인간 감독과 전문성이 있어야 하고, 자기 분야가 아닌 걸 LLM한테 물어보는 건 운에 맡기는 거임.

심령술사한테도 검증 피드백이랑 무한 재시도를 주면 대등한 싸움이 됨.

이 뉴스레터 글 이상함. AI 반대에 열 올리는데 정작 글은 AI가 쓴 것 같고, 결론은 LLM을 제품이나 조직 프로세스에 통합하지 말라는 거임. €35짜리 책 팔려는 편향으로밖에 이해가 안 됨.

2023년 글이면 이해됨. 지금 기준으로는 아님. 날짜가 맞으면 AI가 쓴 글은 확실히 아님.

2023년에 쓴 거라니, 그때 우리가 AI에 대해 얼마나 틀렸는지 새삼 느낌.

도입부에서 LLM에 지능을 가능하게 할 기제가 없다고 단정하는데 그건 열린 질문임. 이 대목에서 읽기를 멈춰도 될 것 같음. 2023년 글이라니 저자가 태도를 바꿨는지가 제일 궁금함.

더 심각한 건 신경망 자체가 1950년대부터 뇌 계산 모델로 설계됐다는 점임. 뇌가 단순한 단위를 대량으로 연결해 작동한다는 관찰에서 출발했고, 75년 뒤 실제로 복잡한 행동을 만들어냈고 노벨상도 나옴. 저자는 이걸 모르는 것 같음.

지능의 기준은 기술이 발전할 때마다 미끄러짐. 튜링도 기계가 테스트를 통과하면 지능인지 여부가 문제가 안 될 거라고 했음. 사람이 구분 못 하면 진짜 지능인지는 중요하지 않게 됨.

LLM이 먼저 대화를 시작하는 능력이 있으면 지능이라는 개념을 더 받아들일 텐데, 지금은 의지가 없어 보여서 차세대 검색엔진이나 백과사전처럼 씀.

튜링 테스트는 그렇게 진지하게 받아들일 게 아니었음. 학자가 대충 한 말이 영원히 권위로 남는 게 지금 상황임.

LLM이 쓰는 언어가 심령술사랑 비슷하다는 건 맞음. LLM 신봉자들과 심령술 신도들이 말하는 방식도 비슷하고.