Dream-RSI, 탐색 이력을 리플레이 시뮬레이터로 써서 온라인 평가 없이 탐색 정책을 개선

이거 진짜 혁신적인 건지 설명해줄 사람 있음? 왜 그렇게 보는지도 궁금한데.

초록 마지막 줄이 답임. 알고리즘 엔지니어링, 수학 최적화, GPU 커널에서 발견 품질은 비슷하거나 더 좋으면서 발견 비용을 크게 줄였다는 거.

공개된 논문이라서 혁신은 아닐걸. 요즘 랩들은 다 RSI 비슷한 걸 하고 있고, 문제는 얼마나 공개하느냐임. 나는 DeepSeek 4.1 Flash로 내 코드베이스 CUDA 커널 튜닝시켰는데 완전 잘하고 값도 쌌음. 혁신은 하네스 쪽에 있을 거임.

내가 이해한 게 맞다면 이걸 RSI라고 부르는 건 좀 이상함. 지금 학습 방식의 최적화지, 영원히 스스로를 개선하는 시스템은 아님.

RSI, AGI 다 그냥 유행어 아님? AGI를 95% 인간 수준으로 정의하면 우린 이미 AGI인데 아무도 그렇게 안 봄. AI로 AI를 학습시키면 그게 왜 RSI가 아님? 인간 개입이 얼마나 들어가야 RSI가 아닌 건지 모르겠음.

이건 계속 학습(continual learning)에 훨씬 가까움. 아직 몇 페이지밖에 못 읽었지만 RSI라고 보긴 어려움.

RSI면 모델이 새 모델을 만들거나 최소한 자기 가중치, 아키텍처를 업그레이드해야 하는 거 아님? 여긴 그게 아닌 듯.

업계 리더들은 지난달에 AGI랑 RSI가 이미 왔다고 하는데 증거는 하나도 없음. 그냥 믿으라는 거지.

이 논문은 다음 라운드에 에이전트를 돌릴 컨트롤러, 즉 정책을 최적화하는 것임.

논문 자체는 탄탄함. 부록 B.1 18페이지에 프롬프트 전체를 공개해서 아무 LLM에나 붙여서 결과를 볼 수 있음.

그럼 Codex 같은 하네스를 기존 LLM 위에 얹은 거임?

비슷한 걸 /self-improve로 orchflows에 만들어봤음. 히스토리가 상태 원장이고 메모리와 RSI가 그걸 근거로 인용함. 강한 불변 상태가 대부분 메모리 라이브러리에서 빠진 퍼즐이라고 봄.

히스토리로 리플레이 시뮬레이터를 만들어서 오프폴리시 평가하는 게 영리함. 비싼 롤아웃을 피하니까. 근데 이미 찾은 브랜치에 과적합돼서 검색 공간이 커질 때 정책이 낡아지는 건 어떻게 막음?

이건 그냥 좋은 과학도 공학도 아님. 학생 프로젝트면 몰라도.

MNIST 비유로 이해했음. 에이전트 1이 2스텝 만에 90% 찍고 8스텝을 낭비했고, 에이전트 3은 계속 오르다 10스텝에서 끊겼으니, 기록을 봤으니 다음엔 스텝 배분을 다르게 하자는 거.

그런데 RL에서 문제마다 각 스텝의 정확도를 연속적으로 아는 게 어려운 게 원래 문제 아님?

나라면 스텝 배분을 바꾸기보다 이전 시도가 뭘 했고 뭘 달성했는지 요약을 붙여서 같은 스텝 수로 한 번 더 돌릴 듯. 컴퓨트가 몇 번의 팬아웃 탐색 후 통합을 할지 정함.

저자 답변 보면 검색 컨트롤러가 새 문제에 얼마나 적용되는지가 관건이라고 함. 메타 에이전트 사고 패턴이 필요하고, 에이전트로 완벽한 에이전트를 설계하는 게 목표라는 거.

Karpathy의 autoresearch랑 좀 비슷하다고 느꼈음. Dream이라는 이름은 좀 과한 듯.

이걸 RSI로 프레이밍하는 건 도저히 무리임. 탐색 정책을 온라인으로 반복 최적화하는 건 재귀적 지능이 아님. 시스템 상황이 변할 때 연산 자원을 유망한 곳에 재배분하는 것뿐임.

AGI, RSI를 모델 수준 얘기인 줄 알았는데 이 논문은 에이전트 얘기임. 병렬 브루트포스로 문제 공간을 훑는 게 AGI는 아닌 것 같은데.