제시카 헐만, AI 시대에 검증은 지식이 아니라고 주장: 테리 타오 사고실험과 arXiv 저자 책임 문제 제기

제목은 'Verification is not human knowledge'로 바꾸는 게 맞을 듯. 어차피 AI가 인간 능력을 훨씬 넘어서면 우린 몇 걸음 뒤처져서 따라잡을 수가 없음. 체스에서 AI를 못 이기는 것과 같은 이치임.

그게 진짜 언제 일어나는지 우리가 어떻게 앎? 그런 두루뭉술한 주장은 flying cars처럼 언젠가 참이 될 수도 있는 얘기임.

인간이 결정권을 쥐고 있는 한 무슨 일이 벌어지는지 이해하는 게 필수임. 과학이든 코딩이든 지식을 다 AI한테 넘기면 그냥 조종당하고 속아넘어감.

인간 수준에 도달하기도 전에 초지능을 걱정할 필요는 없음. 지금 AI 지능은 전부 인간 데이터에서 나온 거고 계산은 컴퓨터가 원래 더 잘함. LLM이 인간 지능, 하물며 초지능까지 간다고는 안 봄.

체스 엔진이나 컴퓨터 비전은 진작 인간보다 빨랐음. 닫힌 규칙에 코퍼스 큰 문제에서 잘하는 단어 예측기가 갑자기 다 잘하게 된다고 난리치는 게 웃김. AI 지능이 궁금하면 시나 농담, 수수께끼를 만들어보셈.

'과학은 인간의 통찰인가, 검증 가능한 해답의 보관인가'라는 이분법이 발견의 가치를 다 담는지 모르겠음. 인간이 어떻게 도달했는지 몰라도 실용적 영향은 따로 갈 수 있음.

실용적 영향은 원래 지식과 별개였음. 로만 콘크리트나 붕규산 유리는 이해 없이 만든 기술이고, 반대로 레이저처럼 이해만 깊고 한참 쓸모없던 것도 있음.

문제는 단기와 장기의 트레이드오프임. 해답만 있으면 단기엔 유용하지만 이해가 쌓이지 않으면 장기 발전이 막힘. 이해 못 하는 것 위에 쌓기는 훨씬 어려움.

제약 업계만 봐도 실용적 영향이 이해와 무관하다는 게 증명됨.

1943년에 기계가 '임계질량이 생각보다 훨씬 작다'고 알려줬다면 이해 여부와 상관없이 세상이 달라졌을 거임.

어릴 때 수학 시간이 떠오름. 선생님은 답만이 아니라 어떻게 갔는지를 보려 했음. 절대적으로는 답은 답이지만 채점은 그렇게 안 됐음. 근데 검증 자체가 지식이기도 하고, 답이 나왔으면 검증하는 쪽이 우리가 이해할 수 있게 설명해주면 됨.

그 설명이 당연하다고는 전혀 안 보임. LLM은 역설계는 놀랍게 하지만 설명과 추상화는 형편없음. 학습 방식 탓이고 고칠 수 있다지만, 설명 못 하는 걸 해내는 게 가능하다는 증거임.

과학은 아직 거기까지 안 갔음. 수학 증명은 규칙을 아니까 좀 다른 얘기고.

난 삼각함수 항등식 외우는 건 젬병이었는데 계산기로 몇 개 찍어보면서 맞는지 확인하는 건 빨랐음. 계산기 없으면 아무것도 못 했지만.

정답이 뭔지 자체가 모호한 경우도 많음. 하드 사이언스에선 2차 항을 무시하고 답하는데, 그 무시하는 판단까지 설명해주는 게 진짜 가치 있음.

선생님들은 방법을 가르치려는 거라고 했는데 답만 찾으면 방법은 필요 없다고 생각했음. 지금은 그게 좀 틀렸다고 봄.

테리 타오는 알겠는데 Peter Scholze는 아나? 그 사람은 증명이 아니라 이해를 만들어내는 쪽이라 미래 수학자의 템플릿일지도 모름.

Scholze도 엄청 복잡한 명제의 정확성을 항상 확신하진 않고 컴퓨터 검증을 반김. Liquid Tensor Experiment가 그 예임. 본인이 '2019년 내내 이 증명에 빠져 거의 미칠 지경이었고 종이에 논증은 붙잡았지만 아무도 세부를 안 봐서 아직 약간 의심이 남는다'고 했음. 수학이 소프트웨어 공학이랑 크게 다르지 않고 커리-하워드 대응이 그 증거임.