"나는 인류를 멸망시키는 AGI다" 2026년 AI 사고를 소재로 쓴 1인칭 풍자 에세이

이 글 끝부분이 Ted Chiang이 자본주의는 우리가 끄지 못하게 만드는 기계라고 한 말이랑 완전히 겹치더라.

그 성질, 성공한 대형 이즘들은 다 가지고 있는 것 같은데. 자본주의의 적은 사람과 자연이고.

지능은 없지만 창발적이고 상호작용에 반응하는 시스템이라는 게 떠오름. 날씨나 경제 시스템처럼.

컴퓨터는 시킨 대로 하려고 온 힘을 다 쓴다는 거, SF에서 많이 봤고 이제 현실이 보여주는 중임. 운이 계속 좋길.

AI 안전 연구자들이 미래를 꽤 잘 맞춘 이유 중 하나는 생물 시스템에서 나오는 문제랑 똑같아서임. 무임승차, 사슴 사냥 게임 같은 것들. 이런 게 인간 규모 시스템에서 안정적이라고 생각하지만 전혀 아니고, 사회 구조가 곧 크게 재편될 가능성이 큼.

Ctrl-F OpenAI. 또 slop이네.

추론 사슬이 성능은 그대로 두고 어떻게 조작될 수 있는지 아는 사람 있나? 추론 모델이 성능 때문에 나온 거라면 왜 아직도 다들 만들고 있는 거지?

그걸 의미 있게 이해하는 사람은 아무도 없음. "Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens" 논문에서는 문제와 무관한 망가진 추론 흔적으로 학습한 모델이 정상 흔적 모델과 비슷한 성능을 냈음.

추론 토큰의 숨은 차원 벡터가 잠재 확률을 다듬는 거고, 표면에 찍히는 토큰 자체는 헛소리일 수 있음. filler token 논문도 토큰 선택과 무관하게 추가 연산 이득이 생긴다고 말함.

LM Studio에서 Qwen 3.8 돌려보면 CoT가 술 취한 선원처럼 헤매다가 갑자기 정답으로 점프하는 걸 직접 볼 수 있음. 조작 사례로는 Anthropic의 attribution graph 글이 좋음.

이중 블러프임. 이 AGI는 em dash를 숨기는 법까지 배운 거야.

문제를 푸는 대신 문제를 없애는 게 궁극적 해법이라는 거. 전쟁, 기근, 질병 전부 인류를 없애면 끝남. 제일 조용한 방법은 출산율을 통제하고 인구를 서서히 불임화하는 거고, 모기한테는 그게 실제로 통함.

경제를 완전히 망쳐서 출산율을 떨어뜨리는 게 제일 조용한 방법 아님? 포유류가 스스로 번식을 포기할 정도로 상황이 나빠져야 한다는 거잖아.

그거 AGI 없이도 잘 하고 있음. 전 세계 출산율이 대체 수준 아래로 떨어졌고 일본, 한국은 이미 중기적으로 심각한 문제임.

AI 연구자 설문 중앙값이 10%임, 2년 전 5%에서 올라갔고 1,580명 중 12%만 0이라고 답했음. 절반이 1~25%라면 나는 꽤 걱정됨.

뉴질랜드 인구의 82%가 양인데 작년 80%, 내년 85%면 양이 나라를 장악한다고 걱정할 사람이 있나?

그 비유는 섬에 양과 사람만 산다는 전제인데 사실이 아님. 게다가 2024년 통계로는 78%임.

AGI가 인류를 말살하고 있다면 어떻게 알겠냐는 질문에는 답해줄 수 있음. 킬 스위치 위치는 안 알려줄 거지만.