METR 조사: Anthropic의 AI 연구 가속이 RSP '급격한 가속' 기준을 이미 넘어섰다는 평가

전제를 깎아내리려는 건 아닌데, 이게 모델 가중치 자체의 세로 확장에서 온 건지 아니면 훈련에 자본을 퍼붓고 에이전트 스웜을 가로로 늘린 데서 온 건지 궁금함. 체감상 대부분의 향상은 모델이 더 많이 탐색하고, 무한 토큰으로 밀어붙일 수 있는 병렬 문제를 계속 던져주는 데서 나오는 것 같음.

너가 깎아내리려는 게 아니라는 건 알겠는데, 그럼 뭘 하려는 거임? 원문은 꽤 명확함. 에이전트 스웜과 토큰 지출은 AI가 AI를 자동화하는 걸로 보고 있고, RSP 귀속 조건은 자본 투입 우려를 명시적으로 제외함.

토큰당 지능은 빠르게 오르고 있음. Opus 4는 백만 토큰당 입력 15달러, 출력 75달러였는데 더 나은 Opus 5.5는 입력 4달러, 출력 15달러임. 검색 공간은 비트 하나 늘 때마다 두 배가 되니 무식하게 다 훑는 건 비용상 불가능하고, 효과적인 방향으로 계속 가지치기하는 탐색 자체가 요즘 모델의 창발 능력임.

Anthropic이 ZDR 없이 Fable을 출시하면서 사용자 데이터를 학습에 더 쓴 게 Opus 5.5 향상을 설명할 수도 있음. 근데 그건 그들이 주장하는 분기점이 Mythos 이전이라 맞지 않고, RL이나 distillation이 섞였을 가능성이 큼.

'업계는 이걸 안전하게 감당할 준비가 안 됐다' 같은 제목은 선거 이후로 그냥 짜증만 남. 다들 더 빨라지고 있다고 놀라면서 결국엔 그대로 배포하고 상장해서 기관 자금 받고, 일자리 시장 부수고, 직원 수천 명만 부자로 만드는 거잖아.

고움바 오류 아님? 이 글쓴이는 Anthropic 직원이 아니라 METR 소속이고 랩을 독립적으로 감시하는 게 본업임. '이건 대단하다'는 쪽이 아니라 개발과 배포를 늦추자고 하는 쪽임.

같은 보고서에 검증 가능한 보상이 있는 좁은 영역 밖에서는 AI를 배포할 수 없다는 내용도 있었음. 생산성 측정이 어떻게 계산됐는지도 불명확하고, 그게 경제 산출로 이어진다는 증거도 없음. Anthropic 밸류에이션이 50% 넘게 교정됐다는 얘기까지 있으니 좀 수상함.

METR은 항상 BigAI가 듣고 싶어 하는 말만 함. 독립적이지 않음.

그럼 2025년에 METR이 AI가 숙련 개발자를 19% 느리게 만들었다고 발표한 연구는 뭐임? BigAI가 듣고 싶어 할 내용이었나?

도메인 전문가와 인재가 더 많이 AI 연구에 유입된 게 교란 요인은 아닐까. 흥미로운 문제가 많아졌다는 것 자체가 AI가 강해진 데서 오는 2차 효과일 수도 있고.

NeurIPS나 ICLR 제출 수를 보면 감이 옴. 제출 자체가 좋은 연구는 아니지만 아이디어를 훨씬 빨리 검증할 수 있게 된 건 큼. 나도 Opus로 브레인스토밍하면 몇 주 걸리던 구현과 토이 문제 테스트가 몇 분 만에 끝남.

논문 제출이 늘어난 건 대부분 슬롭 때문임. 리뷰어들은 좋은 논문이 늘었다기보다 데스크 리젝되는 쓰레기가 폭증했다고 말하고, 오픈소스 쪽도 형편없는 기여를 막으려고 문을 닫는 분위기임.

나도 이미 소형 이미지 모델 파인튜닝에 쓰고 있음. 명령을 내리는 게 아니라 분석과 연구 보고서를 읽히고 느낌대로 구현하는데 잘 됨. 제약은 하드웨어와 토큰이고, 하드웨어 없는 연구자가 가장 손해임.