아밋 사하이의 경고: AI가 내놓는 아이디어를 이해할 수학자, 세상에 훨씬 더 많이 필요해진다

10살짜리 애랑 같이 게임 바이브 코딩하면서 새삼 느꼈는데 AI가 우리 지적 생활에서 만드는 영역이 사실상 무한함. 사람들이 그걸 탐색해 줘야 하는데 결국 사람 수가 모자랄 수밖에 없지.

굳이 사람이 필요할까 싶기도 한데, 그 영역을 즐기는 거랑 실제 판단에 끼는 거랑은 좀 다르지.

레시피만 따라 하는 기술 일은 애초에 AI가 사람보다 훨씬 잘 해버렸고, 그 바닥에서 고연봉 받던 사람들 전문성이 증발한 게 현실임. 결국 소프트웨어도 비판적으로 생각하는 엔지니어가 더 필요해진다는 주장에 동의함.

수학자가 더 많으면 좋긴 한데 꼭 필요하다고는 못 본다. AI 수학이 인간 수준을 아득히 넘어서면 우리 관여는 개미가 양자역학 보는 거랑 비슷해질 텐데.

그 비유는 말이 안 되지. 난제가 계속 더 어려운 형태로 나올 테니 전문가가 문제를 정의하고 검증하는 건 계속 필요함. 문제를 설명조차 못 하면 AI 풀이가 맞는지도 알 수가 없어.

그렇다고 AI 혼자 수학만 하는 게 무슨 의미가 있냐는 생각도 듬. 사람이 관여하지 않는 수학을 놓고 뭘 하자는 건지.

'필요'가 아니라 '우리가 알고 싶어서'인 거지. 이해하려는 욕구는 주어진 게 아니고 오히려 소수의 성향인데, 여러 문명이 그걸 눌러 죽이지 않고 유지해 왔다는 점이 흥미로움.

우리가 개미였던 적은 없어. 양자역학을 겨우 붙잡기 시작한 건 최근 100년이고, 백만 년 동안 계속해서 이해하려 발버둥 친 쪽이 우리임. 아직 못 배제했어.

어쩌면 개미와 인간은 질적 차이가 있고, 어느 지능 임계점만 넘으면 거의 무엇이든 이해할 수 있는지도 모름. 우리가 이해력의 근본 한계에 부딪혔다는 근거는 하나도 없다고 봄.

개미 비유보다 고대 인간 비유가 나음. 문자와 산수 같은 기초 추상화가 없는 고대인이 양자역학을 이해하긴 사실상 불가능하겠지만, 추상을 쌓아 올리는 능력 자체는 끝이 없거든.

핵융합 발전소 예시는 박쥐 위원회 문제의 전형적인 예시랑 겹쳐서 좀 안 좋게 골랐다는 생각임.

그게 왜 관련이 있는 거지?

러셀이 충분히 영리한 존재에게는 모든 수학이 자명해 보일 거라고 말했잖아. 수학은 한정된 머리를 위한 개념 도구라서, ASI 세상에서는 그 능력이 오히려 필수다.

집합론으로 모든 수학을 끌어낼 수 있다고 보여주려다 오히려 러셀의 역설으로 실패해 버린, 그 발견 이전 발언을 인용하는 거야?

인생은 트레이드오프의 연속인데 수학에는 트레이드오프가 없어. 우리가 더 필요한 건 엔지니어임.

인생은 목적의 문제고 수학자는 의미를 묻는다 쪽이라, 정작 필요한 건 철학자라는 생각도 드네.

'배치 가능한 지적 예비군'이라는 표현 보는 순간 딥 소트한테 궁극의 질문 던지는 장면이 떠올랐는데 나만 그랬을까.

Claude가 뽑은 코드는 전에는 한 줄씩 다 긁어보고 매번 문제를 잡았는데, 요즘은 점점 덜 잡힘. 모델이 좋아진 건지 압박에 덜 꼼꼼해진 건지 모르겠는데 어쨌든 한계선이 계속 올라가고 있어.

모델이 맞출 확률이 높아질수록 1/1000~1/100만짜리 오류가 생성 시점에 안 잡힐 가능성도 커진다. 이게 진짜 골칫거리임.

참고로 이 글 테렌스 타오가 쓴 게 아니라 아밋 사하이의 게스트 포스트임.

글쓴이가 'AI가 새로운 아이디어를 만들고 이해한다'고 하는데, 나는 AI가 창의성까지 가졌다고 안 봐. 정답이랑 의미랑 목적을 섞어 말하고 있는데 창의성이 빠져 있거든.

계산기가 처음으로 루트 5를 출력하던 시절에는 전기랑 트랜지스터 상태를 재확인하느라 다들 들여다봤겠지. 지금의 신경망도 언젠가 계산기처럼 되는 순간이 올 텐데, 그때가 되면 세상이 얼마나 달라질지 상상이 안 감.