RSI(재귀적 자기개선) 경제학 논문, "AI 가속 조건 아직 미달" 계산 제시하며 HN서 논쟁 촉발

논문에서 15% 임계값 얘기하는데, 실제 데이터는 METR 서베이 자기보고 생산성 1.4~2배 늘었다는 거임. 그 근거로 코딩 에이전트 이후 9% 상승했다고 추정하는데 기반이 좀 부실한 느낌이지만 그래도 흥미로운 논문이긴 함

RSI 얘기 나오면 몇 년 전에 3D 프린터가 자기 자신을 복제해서 세상을 지배할 거라던 그 웃긴 기사들만 생각남

RSI가 새로운 게 아님. 컴퓨터가 컴퓨터를 개선하는 건 80년 전부터 있었던 일이고, Postgres 같은 게 이미 비서 일을 대체한 셈임. R&D가 자동화되면 다 좋아지고 싸지겠지만 우리도 일자리 잃을 거임. UBI 시즌 옴

비서가 하는 일을 postgres 하나로 대체된다고 보는 건 상상력 부족임. 그 secretary는 아주 특정한 형식의 질문만 답할 수 있고, 실제로 postgres 때문에 비서들이 잘린 사례는 별로 없음. AI가 곧 모든 직업을 대체한다는 생각도 인간이 일에서 하는 일을 너무 과소평가하는 거임

LLM이 LLM 개발을 가속한다고 해서 그게 자기유지적 가속으로 이어진다는 보장은 없음

'다들 알법한 사실 아니냐, 발전할수록 발전이 어려워진다는 게'라는 댓글에 대해: 이게 왜 다들 알 거라 생각하는지 모르겠음. 지능에 대한 사람들 생각 자체가 워낙 혼란스럽고, 굳이 그 오해를 고쳐줄 동기도 없는 사람이 많음

RSI가 병목에 걸릴 수 있다는 건 많은 사람이 이미 알고 있는 얘기임. 문제는 그게 언제, 어느 (지루하지 않은) 단계에서 막힐지가 관심사임

자기개선의 속도가 난이도 증가 속도를 앞지르는 시점이 분명 있음. 오래 못 갈 거 같아도 그 조건을 보여주는 게 이런 모델링의 의미임

이런 모델링 작업의 목표는 우리가 이미 아는 걸 설명할 수 있는 단순한 초기조건을 만들고, 파라미터를 조정해서 아직 못 본 걸 예측하는 거임. 중력이 존재한다는 건 당연하지만 그걸 양자역학으로 설명하는 모델이 나오면 그건 큰 돌파구가 됨

발전은 종종 뭉텅이로 오고, 새로운 발견과 그 응용에 따라 좌우됨

'발전할수록 어려워진다'는 말에 동의 안 함. 지난 200년간 우리는 엄청나게 발전했고, 다시 급격한 발전기로 가고 있음. 발전하면서 LLM 같은 도구도 같이 발전해서 더 발전을 돕는 거임

그 말 자체가 사실이 아닐 수도 있음. 최근 폭발 전까지 신경망은 수십 년간 별거 없었음. 그 특정 분야는 막다른 길일 수도 있지만 다른 갈래가 숨어서 자기 때를 기다리고 있을 수도 있음

'왜 이게 다들 안 보일까' 하는데, 그냥 다른 생각을 가진 사람들이 있어서임. 기술적 특이점 얘기 링크 참고

AGI 개발 진행에서 틀린 예측 많이 했던 회의론자들 있지만, 지금 1조 달러짜리 회사 두 곳이 RSI에 사내에서 전력을 다하고 있고 20조 달러 시가총액이 그 R&D에 몰려 있음. 멍청한 돈이라 생각해도 그건 각자 판단이지만 시장은 똑똑한 배분에 보상을 줌

시장은 레버리지가 높을 때 실수를 빠르고 가혹하게 벌하기도 함. 지금이 1998년일 수도 있고 1995년일 수도 있음, 어느 쪽인지 알면 큰돈 벌 수 있음

RSI가 실제로 실현되기 전에 시장이 그걸 똑똑한 배분이라고 어떻게 미리 알 수 있다는 거임? 저 회사들이 실패하지 않을 이유가 뭔데

'시장은 똑똑한 배분에 보상을 준다'는 말 자체가 너무 뻔히 틀린 소리라 믿기지 않음. 지난 10년 미국 경제는 사기 잔치의 연속이었는데 사람들은 여전히 이 말을 진지하게 함