OpenAI 수석과학자, 재귀적 자기개선 가능성 경고하며 감속과 공동 안전 기준 촉구

이 글은 마케팅 잡문 그 자체라고 봄.

쿠르츠와일 예측을 끌어온 대목은 검증 가능하게 틀렸다고 봄. 2019년까지 $1,000 컴퓨터가 인간 뇌 처리능력에 맞춘다는 예측도 빗나갔고, 2029년까지 개인용 컴퓨터가 1,000개 뇌 수준이 된다는 말도 현실과 거리가 멂.

이 문장은 LLM이 쓴 것 같음.

OpenAI가 AGI 정의를 계속 낮춰 왔는데 인간 지능을 변혁적으로 넘기 시작했다는 말은 이상함. '자발적 감속'은 자기들이 먼저 갈 수 있게 남도 규칙을 따르라는 뜻처럼 읽힘.

Astra는 기존 LLM의 장황한 출력과 아첨을 덜고 정보 밀도가 높아진 단계라고 느낌. 그래프 탐색 사전학습이나 루프 계층 같은 기법은 공개돼 있어서 이런 모델을 OpenAI만 계속 독점할 거라 믿는 건 순진함.

이게 정말 새 모델을 정부가 제한하지 않은 이유를 묻는 호소문처럼 들림.

과학적 글이라기보다 마케팅 행사라고 봄.

나는 AGI 경쟁을 멈추면 안 된다고 봄. 상대가 있는 제로트러스트 경쟁에서는 이탈의 보상이 커서, 뒤처지는 쪽이 더 나쁜 결과를 맞을 수 있음. 그래도 내부 정책 고민을 공개적으로 읽는 건 샘이나 다리오의 단순한 메시지보다 낫다고 느낌.

난 이걸 정책 문서나 연구 논문, 심지어 제대로 된 에세이로도 안 봄. 기업은 결국 자기 이익을 위해 말하고 행동한다는 점을 잊으면 안 됨.

감속을 말하려면 구체적인 절차를 만들고 직접 실행해야 함. OpenAI의 20~30명은 이미 감속 버튼을 누를 위치에 있는데, 블로그에서 훈계하는 건 마케팅처럼 보임.

'외계 지성'이나 '기계에게 사랑을 가르친다'는 표현은 학습된 인간 행동의 출처를 흐리고 공포를 팔려는 말 같음. 결국 챗봇인데 쿠르츠와일식 기술 종교와 공상과학 문구를 섞고 있음.

AI가 코드 말고 실제로 어디서 유용하고 좋은지 증거가 있나 싶음. 읽기 도구로는 인상적이지만 판단력은 낯선 게 아니라 그냥 좋지 않다고 봄.

코딩에서도 이미 반작용이 보임. 계속 쓰이겠지만 사람이 코드를 영원히 안 쓰게 된다는 서사는 밀리고 있음.

고객의 실제 투자수익률을 말하기 시작하는 날이 거품이 꺼질 날이라고 봄. 의료 문진과 진단 제안은 유용할 수 있어도 오진, 개인정보, 환자와 보험사 중 누구에게 맞추는지 문제가 큼.

'우리가 아니면 다른 쪽이 한다'는 경쟁 논리는 결국 모두가 같은 파괴를 밀어붙이는 구조임. 가장 위험한 전략적 적은 지금 만들고 있는 AI일 수도 있음.

이건 IPO 전 포지셔닝처럼 보임. 인류를 종말에서 구한다던 자선단체가 종말의 15%를 나스닥에 띄우려는 이야기처럼 읽힘.