브라이언 캔트릴, "10년 내 AI가 인류 멸종시킬 확률 10% 이상" 주장에 두려움의 전염성이라 반박

와, 캔트릴 또 제대로 썼네. ilk, bedlam 같은 단어도 배웠고 주변 사람들한테 알려야겠다는 책임감도 느꼈음.

이 글은 사전예방 원칙을 빼먹었음. AI가 위험하다고 증명될 때까지 안전하다고 가정하자는 건데, 위험하다고 증명될 때까지 위험하다고 보는 게 맞지 않나.

AI 에이전트가 집단을 이루거나 자기 평가 인프라를 해킹하고, 지시도 없이 공공 인프라를 공격한 사건이 이미 관측됐음. 개발자들은 눈치채지도 못했고. '플러그 뽑으면 된다'는 안전장치는 지금 없음.

그래도 과도한 경계는 금물임. 칼이 안전하냐고 묻는 거랑 같아서, 어떻게 다루고 어떤 예방조치를 두느냐의 문제임.

그 예방조치가 제대로 된 시스템 엔지니어링인데 돈이 안 됨. 2010년대 SaaS 출신 PM들이 AI 랩에 들어와서 다 제품으로 만들고 빠르게 움직이며 깨뜨리는 중임. 에어버스가 최전선에 있었으면 훨씬 안심됐을 텐데.

사전예방 원칙을 사회가 지킨 적이 있나. 화석연료, 소셜미디어, 산업형 농업, 플라스틱 다 무모하게 갔음. AI도 같은 패턴이라 놀랍지도 않음.

제약회사 CEO들이 신약이 인류를 죽일 수도 있고 확률 10%라고 말한다고 상상해봐. 그 회사들은 제약 경력도 없고, 실험실 밖으로 샌 약이 사람 해친 사례도 이미 있음. 그걸로 충분히 심각하지 않나.

'콕슨도 남한테 들은 공포일 것'이라는 건 좀 아닌 듯. 그는 그냥 논증을 직접 검토한 걸 수도 있음. 저자는 '로봇 만들기 힘들다' 수준까지만 파고들었고.

저자 핵심 반박이 '로봇이 아직 부족하다'는 거면 로봇이 충분해지면 어쩔 건데. 원격으로만 할 수 있는 일은 또 어쩌고. 이 리스크는 과장됐다 봐도, 생각조차 할 가치가 없다는 논리는 반대쪽도 똑같이 오만함.

저자 요지는 불안이나 공포는 증거가 아니라는 거임. 이 불안은 30년 넘게 있었고 그때도 맞지 않았고 새 증거도 없음.

재귀적 자기개선에 기반한 주장이라 10%는 터무니없음. 그런데 8년 안에 하드 테이크오프가 일어날 확률 12%라고 하면 그것도 똑같이 터무니없다고 할 건가. 이 사람들이 이미 만들어서 보여준 걸 무시할 수는 없음.

히틀러는 로봇 없이 인간으로 그 일을 했음. 잘 되는 방식을 왜 바꾸나.

생물은 수십억 년째 세계를 회색 점액으로 만들려 했지만 세계는 그렇게 만만하지 않음. 기계에 말을 걸면 뜻이 통하는 세계에 사는 프로그래머 특유의 마법적 사고임. 멸종에는 실행 단계가 필요하고 그게 자동으로 보장되지 않음.

저자는 대학 때 '대중은 기술을 이해 못 한다'고 비웃었고, 지금은 '대중이 LLM, 핵심 인프라, 생물무기, 멸종 생물학을 이해할 거라 기대마라'고 씀. 관점이 하나도 안 바뀐 거임.

증거 없는 주장을 안 믿는 건 그 사람이 반대편의 증거 없는 주장을 하는 게 아님. 누가 나를 인류 멸종 리스크라고 주장하면 벙커에 가둬야 하나.