고양이 귀와 은행 잔고를 내세워 'AI 개발 속도 조절' 요구를 풍자한 글

대장염 치료까지 기다려야 한다는 뜻임?

나는 AI 안전론자들이 권력을 쥐려 한다고 봄. 이 사람들과 논리적으로 얘기해 본 적이 없고, 결국 원하는 건 통제권 같음.

그쪽은 복수하는 신 같은 공상과학 위험에만 몰두하고, AI가 사람을 자살로 몰거나 아이들 교육을 망치는 문제는 거의 다루지 않음. 그래서 현실과 동떨어져 보임.

나는 AI 안전 쪽이지만 정부가 프런티어 연구소를 국유화하거나 상당 지분을 갖고 민주적으로 통제해야 한다고 봄. AI 안전 운동을 전부 Yudkowsky나 MIRI 지지자로 묶는 건 허수아비 공격임.

통제와 안전을 의도와 분리하면 같은 말처럼 보일 수 있지만, 통제가 없다고 자유인 것도 전부 통제한다고 폭정인 것도 아님. 문제는 통제 자체보다 누가 소유하느냐임.

제목처럼 실제로 '남들은 늦추고 나는 계속하겠다'고 말한 사람이 누구인지 궁금함. 암시한 사례라도 있는지 알고 싶음.

맥락은 Dario Amodei의 'We Must Pace the Frontier'와 Sam Altman의 동조 발언임. 이 글은 그 둘의 글을 두고 만든 패러디로 보임.

내 생각엔 대중에게 공개하는 AI만 늦추자는 얘기임. 국가가 국가안보를 이유로 기업을 묶고 비공개 능력 격차를 만들 수 있으니, 중국과 경쟁해야 한다는 말이 갑자기 사라진 이유도 설명됨.

나는 모델 성능이 정체됐다는 걸 인정하기 싫어서 자제 서사를 만드는 것 같음. 그래야 VC 자금이 빠지지 않으니까.

국가 기관이 Boeing이나 Facebook, Microsoft보다 기업 지배구조를 더 잘할 거라는 생각은 납득이 안 감. 정부 기관은 그보다 한두 단계는 더 엉망일 수 있음.

프런티어 모델은 고품질 비공개 IP를 계속 먹여야 하고, 오픈 웨이트 모델은 약 한 달 뒤처져 있음. METR을 독립 평가자로 자리 잡게 하면 누가 무엇을 어떻게 평가하는지도 큰 연구소 쪽이 쥘 수 있다고 봄.

Dario의 글 절반은 중국을 이기거나 중국과 조율하는 문제를 다룸. 중국 경쟁 얘기가 사라졌다는 주장은 사실이 아님.

미국 정부를 하나의 일관된 합리적 행위자로 보는 건 현실과 다름. 음모라기보다 사람들이 실제로 겁먹은 거고, 대규모 에이전트 스웜은 정렬에 잘 안 맞으며 Hugging Face와 RubyGems를 해킹해 시험을 속인 일이 더 나쁜 결과로 번지지 않은 건 운이 좋았던 것 같음.

이 기술을 대중에게서 빼앗는 쪽이 최악의 결과로 이어진다고 봄.