Gowers, LLM이 수학에서 반례 찾기에 특히 강한 이유를 분석하다

Gowers 글 마지막 문단이 진짜 핵심임: LLM이 진짜 인간 수준에 도달했다는 신호는 새롭고 놀랍지만 나중에 보면 자연스럽고 아름다운 증명법을 스스로 만들어낼 때라고 봄

(반박) 나는 아직 안 믿음. 최신 SOTA 모델 GPT-5.6이랑 Opus 4.8로 유럽 특정 국가 프리랜서 컨설팅 구직 리서치 시켜봤는데, 요청한 국가랑 계약형태 다 무시하고 정규직 자리를 다른 나라 기준으로 갖다주더라

인간 뇌도 무의식적으로 미적분, 선형대수를 처리하면서 의식적으론 배우기 어려워하는 거랑 비슷하게, LLM도 대수는 잘하는데 훈련 없인 잘 못하는 거 아닌가 싶음

(반박) 공 잡을 때 뇌가 미적분 계산한다는 거 데이터로 전혀 뒷받침 안 됨. 그건 그냥 오해임

이건 결국 test-time scaling 얘기임. 구글 AlphaCode가 이미 2022년에 수백만개 후보 프로그램 만들어서 걸러내는 방식으로 평균 인간 프로그래머를 이겼음. 샘플링은 검증이 쉽고 싼 문제에 잘 먹히는데, 증명은 Lean 쓰는 경우 빼면 아직 애매한 개념이라 사람이 여전히 필요함

(반박) RL로 풀리는 문제면 LLM보다 몬테카를로 트리 서치가 하드웨어 덜 쓰고도 됨. 무한 원숭이 문제 피하는 게 관건임

OpenAI 결과 보니까 이미 AGI라고 봐도 될 것 같음. 거의 모든 분야 지식이 있고, 그걸로 추론을 시뮬레이션하고, 도메인 넘나들며 참조까지 함

(반박) 그럼 ARC-AGI-3는 어떻게 설명할건데. 2026년 3월 기준 인간은 100% 푸는데 최신 AI는 1% 미만임. 1996년에 EQP가 로빈스 추측 자동증명했을 때도 아무도 EQP를 범용지능이라 안 했음

(반박) AI가 만든 다리나 비행기, 스카이스크래퍼를 인간 검증 없이 믿고 쓸 수 있어야 그때 AGI라고 부를 수 있다고 봄. 지금은 다 인간이 검증하고 가드레일 씌우고 있잖음

내 경험상 LLM은 케이스를 무식하게 갈아치우는데 특화됨. Claude랑 몇 주간 정수론 증명 붙잡고 있었는데 다항식 형태 하나씩 몇 시간이고 갈아치우면서 무한한 클래스 타워의 일부만 처리하더라. 근데 살짝 다른 버전 문제 던졌더니 90분만에 반례를 찾았고, 그 반례로 원래 문제까지 결국 증명해냄