Navier-Stokes 증명 이후에도 LLM 약세론: 명세·검증 비용이 자율 에이전트의 구조적 한계라는 분석
- Navier-Stokes 정리 증명 같은 성과를 본 뒤에도 글쓴이는 LLM 약세론을 유지함. 정리 진술 자체가 이미 엄격한 명세이고 Lean 검증기로 확인되는 순수수학이 에이전트 작업의 최상의 경우일 뿐, 대부분의 지식 노동은 여기에 해당하지 않음.
- 하드웨어 업계에서 CPU 프로젝트 하나에 명세·검증 엔지니어가 설계 엔지니어보다 약 3배 많고 5:1 비율도 드물지 않음. 엄격한 명세 비용이 직접 구현 비용을 크게 넘을 수 있음.
- 리워드 해킹은 도메인 전문가의 엄격한 명세로만 막을 수 있는데, 명세 자체가 별도 전문 기술이고 도메인 전문가와 명세 전문가의 교집합은 극히 작음.
- 자율 LLM을 받아들일 수 있는 기업은 실패가 저렴한 곳, 좁은 작업과 명확한 가드레일이 있는 곳, 명세·검증 비용을 이미 치르는 칩 설계·신약 개발 세 부류뿐이라고 봄.
- 인간 리뷰는 물량을 감당하지 못하고 xz 백도어, UMN의 위선적 커밋처럼 전문가 리뷰도 리워드 해킹에 뚫림. Lean도 커널 건전성 버그로 가짜 증명이 통과한 사례가 있음.
Hacker News opinions
현재 능력을 부정하지 않는 절제된 글이라 반갑더라. 이런 톤이 요즘 거의 없음.
나도 이거 매일 쓰는데 능력은 진짜 놀라움. 다만 프런티어 가격은 미친 수준임.
프런티어 모델이 가장 단순한 작업에도 노동 집약적인 감독과 가드레일이 필요하다는 건 그냥 능력 부정 아님?
Gary Marcus나 Ed Zitron도 OP가 인정하는 유용성은 인정함. 문제는 5년째 AGI 왔고 소프트웨어 엔지니어링 끝났다고 말하는 강세론 쪽 템포가 이상한 거지.
토큰을 더 팔아야 하는 비즈니스 모델이라 생각을 길게 만들고, 참여 유도하고, 다크 패턴까지 나오는 듯.
일반 LLM에는 약세, 순수수학에는 강세. 이 구분이 맞다고 봄.
LLM은 시간 감각이랑 메모리가 약해서 장기 자율 에이전트는 현재 아키텍처로 힘들어 보임. 좁은 영역에서 결정적인 출력이 나오는 데서는 잘 되고, 사람이 시간축을 잡아주는 쪽이 실전임.
그 메모리 문제는 컨텍스트 관리랑 스캐폴딩으로 풀 수 있지 않음?
인간도 한 작업의 전문가가 되려면 오래 훈련하는데 LLM이랑 뭐가 다르냐?
다름. 난 어릴 때 체스 책 한 권 읽고 친구랑 두면서 배웠음. 체스의 모든 기보와 책을 다 보여줘도 계속 반칙 수를 두면 그건 뇌 손상임.
GPT-6 Astra의 ARC-AGI 2 점수가 이 주장이랑 모순 아닌가? 문제마다 규칙이 다른 게임인데.
2026년 4월 논문에서 프런티어 모델에 체스 시켰더니 합법 수 인식률이 80%도 안 됐고, 1100 ELO 체스 봇도 못 이겼음. OP 말대로 가장 단순한 작업에도 감독이 필요함.
그 논문은 Gemini 2.5 Pro, O3, Claude Sonnet 3.7, ChatGPT 4.1 같은 낡은 모델로 돌린 거라 결론을 믿기 어려움. 과제에 따라 다르다는 게 함정임.
인간도 날지 못하지만 비행기를 만듦. LLM이 체스 엔진을 코딩해서 실행하면 됨.
GPT-7이 마음먹으면 그랜드마스터 체스도 되는데 굳이 체스가 기준이어야 하나. 스톡피시를 툴 콜하게 하면 끝 아님?