Armin Ronacher, Dario Amodei의 'Pacing the Frontier'에 반박: 오픈 웨이트가 곧 자동 페이싱

Ed Zitron 말이 계속 생각나더라. OpenAI랑 Anthropic이 강력한 AI가 잘못된 손에 들어가면 어쩌냐고 경고하는데, 이미 잘못된 손에 들어가 있음.

머스크가 이 대화에 끼어 있다는 것만 봐도 좀 멈춰야 하지 않나. 지구에서 제일 미움받는 사람 중 하나한테 우리 미래를 맡기고 싶진 않잖아.

그래도 더 나쁜 손은 있음. 샘 알트만이 성인군자는 아니어도 옴진리교 광신도보단 낫지.

이 상황에 대한 내 심정이랑 제일 가까운 글이다. Armin 작업에 존경심이 컸는데 이런 글을 써줘서 반갑고, 다른 사람들도 좀 깨면 좋겠음.

RSI 부분을 슬쩍 넘어간 게 아쉽다. 거기 좀 더 깊게 들어갔으면 좋았을 텐데.

RSI가 실전에서 뭔 쓸모 있는 걸 낼 거라고는 못 보겠음. alignment drift에 model collapse까지 걸려 있고, 정작 현재 프런티어 모델의 정확도 문제도 못 풀고 있잖아.

여긴 잘 모르지만 Astra의 이상한 코딩은 의도된 동작이라기보다 RSI 결과일 가능성이 큼. 아니면 학습 과정의 다른 변화겠지.

P(doom)은 실존적 위험 문서랑 연결되는 개념인데, 오픈소스 모델이 어떻게 인간과 AI 사이 MAD를 만든다는 거임? 정렬된 AI로 비정렬 AI를 상대하게 해준다는 거면 그렇게 써야지.

AI 다양성이 rogue AI를 막는다고 봄. 서로 다른 웨이트를 가진 AI가 많아질수록 하나가 판을 장악하기 어려워지고, 오픈 웨이트가 그 다양성을 훨씬 크게 만듦. 폐쇄형이면 소수 벤더에 통제가 집중됨.

AI가 멸종 사건을 불러오진 않을 거라고 생각한다면 p(doom)이 0인 거고, 그럼 시장 집중이나 소프트웨어 엔지니어링의 재미를 걱정하는 게 맞지.

p doom 퍼센트는 누가 뭘 말해도 제대로 평가할 방법이 없음. 최근 어떤 바이러스학자가 십 대가 프롬프트로 멸망 바이러스를 만드는 건 불가능하다고 설득력 있게 설명한 것처럼, 분야 전문가 말을 믿는 수밖에.

Dario 글이 Astra 이후에 나온 게 의미심장함. 프런티어를 페이싱하자는 주장이 진심일 수도 있지만, 이미 프런티어에 있는 회사 위치를 지켜주는 효과도 있음.

DeepSeek v4.1 Flash 이후이기도 하지.

그건 불공평한 비판임. Dario는 Fable/Mythos가 압도적으로 앞서 보이던 시절에 Pacing the Frontier 공개서한에 서명했고, 예전부터 같은 얘기를 계속 해왔음.

동의한다면 니 p(doom)도 0인 거임.

두 회사만 있다고 그렇게 잘라 말하는 게 좀 그렇다. RSI에 근접하고 있을지도 모르는 다른 미국 랩들을 싹 무시했잖아. '지금'을 그렇게 딱딱하게 다루는 것도 웃기고, GPT-2 나온 게 7년 전인데.

지금 프런티어가 그 두 곳인 건 사실임. 구글은 뒤처졌고 MSL은 좀 낫지만 그 정도, xAI는 엉망이고 Thinking Machines도 프런티어가 아님. SSI는 발표문이 주 생산품이고.

중국이 세계를 구제한다는 대목은 해킹 가능한 IoT와 스마트홈 역사가 그대로 반복되는 느낌임.

MAD를 잘못 이해한 게 글 전체를 흔든다고 봄. 모두가 핵무기에 동등하게 접근하면 사회는 순식간에 끝장남. 소수 악의적 행위자만으로도 충분하고, 문제는 조정임.

모두가 멈추기로 합의해야 하는 게 진짜 난제인데, 정부가 나설 자리에서 하필 역대급으로 부패한 행정부를 만난 게 재수 없었던 거지.

인류 멸종급 위험이 10~25%라고 진심으로 믿으면서 어떻게 그 일을 계속할 수 있는지 이해가 안 감.