ICML 2026 포지션 논문 "LLM은 도약 못한다": 아인슈타인 사례로 본 귀추법의 한계

"컴퓨터가 체스는 이겼는데 킥복싱은 못 이기더라" 이런 느낌이네. 1980년이나 1990년 이전 텍스트로만 LLM 만들어서 그게 자기 자신을 재발명할 수 있는지 보는 실험 얘기 자주 나오던데

근데 그 LLM한테 자기 자신에 대한 설명을 얼마나 줄지가 문제야. 너무 정확하게 주면 테스트 자체가 오염되고, 너무 대충 주면 시작도 못하고 루프에 빠질듯

그건 안 될걸. 그 시절 데이터로는 지금 수준까지 가기엔 절대량이 너무 적음

빅토리아 시대 퍼블릭도메인 텍스트로 비슷한 실험 해본 적 있는데 결국 아나크로니즘이 새서 필터링이 제대로 안 됐다더라

1900년 이전 문헌 중에서도 상대성이론으로 이어진 실험들만 사후적으로 더 많이 남아있을 확률이 높음. 코퍼스 구성 자체가 이미 편향됐을 수 있어서 이 실험 설계가 생각보다 어려움

이 논문 제목 "LLMs Can't Jump"로 HN에 이미 여러 번 올라온 글임. 중복 포스트

이론물리의 창의적 점프에 감각적 근거가 필요하다는 주장인데, 그럼 수학처럼 추상적 분야에서 감각 근거 없이 창의적 점프하는 인간은 어떻게 설명함? 논문도 이걸 인정하면서 고차원 위상수학이란 말로 슬쩍 넘어가던데

그 추상적 경우의 "감각 근거"도 결국 머릿속 월드모델에서 시뮬레이션하는 제한된 직관 아닌가