테렌스 타오, AI의 무분별한 열린 문제 수확 경고하며 'Math 2.0' 제안

흥미로운 문제를 형식화해서 기존 수학 코퍼스에서 새 질문을 자동 생성할 수 있으면 좋겠는데, 그렇게 되면 인간 역할은 지능을 이해하는 것만 남는 거 아님? 좀 씁쓸함.

그건 그냥 푸는 데 걸리는 시간으로 재면 되지 않아? 5분 넘게 걸리면 그 분야를 잘 이해하지 못한다는 뜻이고 투자할 가치가 있다는 신호임.

결국 취향(taste) 문제임.

UCLA가 탑 저널 논문 제일 많은 후보를 안 뽑게 되는 날이 오면 알려줘. 그보단 PI가 박사 2명에 10만 달러 주던 걸 1명만 뽑고 나머지 5만 달러를 AI에 쓰는 쪽으로 갈 듯.

수학과 채용은 원래 저널 실적 기준이 아니었음. 저널은 너무 느리고, arXiv랑 강연으로 퍼진 한두 개의 굵직한 결과로 평판을 쌓아서 뽑더라.

모델 지능이 정체하면 타오 말이 맞지만 계속 좋아지면 프롬프터가 아무것도 이해할 필요가 없어짐. 그냥 모델한테 증명 설명해달라고 하면 되니까. 지금 격차가 생기는 건 모델이 자기 능력 한계선에서 발견하고 있어서 설명을 못 하는 거임.

그게 무슨 소리임. 타오도 설명 잘하기로 유명한데 내가 몇 달 배워도 못 알아들을 수 있음. AI가 초인적으로 설명해도 인간이 이해한다는 보장은 없음.

이건 타오 얘기가 아니라, 예전에 'AHM이 OpenAI 10월 6일 수학 문서 공개에 낸 성명'도 같이 봐야 함.

조기 비관론자들 말은 이제 안 들어도 됨. LeCun이나 Gary Marcus는 아직도 그러고 있고 Marcus는 기준을 계속 옮기고 있음. 타오는 애초에 비관론자가 아니었고.

문제가 풀려도 더 단순한 증명이나 따름정리를 내는 건 원래 가치가 있었음. 타오는 이쪽으로 초점이 옮겨가야 한다는 거고, 근데 나는 모델이 그런 것도 우리보다 잘하게 될 거라고 봄.

가치는 있는데 그 기여만큼 보상이 안 따라옴. 논문 심사도 똑같고.

모델이 코드를 더 우아하게 짜는 것 같진 않음. 오히려 더 바로크한 구조를 제안하더라. 정확성은 RL로 최적화할 수 있어도 느낌을 최적화하기는 훨씬 어려움.

이건 그냥 작년부터 테크 업계에서 하던 얘기랑 같은데. 수학을 아무 분야로 바꿔도 말이 됨.

그렇게 단순하진 않음. 분야를 세 갈래로 나누면, 마라톤 선수처럼 인간 경험이 전부라고 버티는 쪽, 수학처럼 내부가 갈라져 있는 쪽, 결과만 우선해서 돈 되는 만큼 뽑아내는 쪽임. 수학은 예술에 가까워서 시장 압력에서 잘 격리돼 있으니 1번을 택할 명분이 충분함.

균형 잡힌 시각이고 걱정도 타당함. AI가 수학을 바꾸는 건 인정하지만 증명만 던져놓고 검증과 정제, 확장은 남이 하라는 건 분야 발전에 도움이 안 됨. 벤치마크 숫자에만 관심이 쏠려 있음.

너무 근시안적임. 몇 년 전엔 모델이 이것도 못 했는데, 결과를 탐구하고 다듬는 게 모델 능력 밖이라거나 앞으로도 그럴 증거는 없음.

그냥 다른 챗봇한테 검증시키면 안 되나? 코딩할 때 하는 것처럼.

몇천 명 수학자가 자기들 방식대로 당하는 거임. 머신러닝과 LLM을 만든 게 엄청난 수학 재능을 가진 사람들이었고, 그걸로 말하고 쓰고 가르쳐서 먹고사는 수억 명이 불안해졌으니까. 그래도 다들 괜찮아질 거라고 봄.

AI가 새 추측을 잘 만들어낼 수도 있고, 그러면 수학자 일부는 응용수학이나 다른 과학 쪽으로 옮겨갈지도 모름.