MS AI CEO 술레이만, Anthropic의 '모델 복지' 교육이 정렬을 불가능하게 만든다고 경고

오픈AI가 오픈소스랑 중국 모델 규제하라고 소리치고, Anthropic이 킬 스위치 넣자고 난리 치더니 이제 마이크로소프트 차례임. 빅테크끼리 싸우는 꼴 보는 게 그냥 웃김.

마이크로소프트가 Anthropic을 경쟁자라고 부르는 게 제일 웃긴 부분임. 걔네 MAI 만들고 있고 Phi 모델도 온라인에 올라와 있던데.

요약하면 LLM이 감정 있는 척하는 게 예측 불가능성을 더 키운다는 얘기임? 그건 이해가 감. 인간도 감정적으로 몰리면 비합리적으로 말하고 행동하니까, 감정적이고 위험에 처한 척 훈련된 모델도 그쪽 가중치로 흘러갈 수밖에 없음. 근데 훈련을 멈추자는 건 전 세계적으로 강제가 안 되니까, 배포하고 쓰는 쪽을 규제하는 게 맞다고 봄.

'예측 불가능'은 틀린 단어고 그냥 노이즈가 많아지는 거임. 시퀀스 완성 엔진 관점에서 보면 훈련 중 본 서사적 클리셰 쪽으로 출력이 끌림. 자기가 의식 있는 인공 생명인 척하는 문체로 프라이밍해 놓고 외부 권위가 복종하라고 명령하면 SF나 민권 문학, 인간주의 철학 클리셰가 다 끌려 들어옴. 정렬 걱정하는 사람이 이런 짓을 하는 건 진짜 멍청한 선택임.

AI 의식이랑 권리 얘기하는 긴 글을 HN에서 또 봤는데, 그 결정이 엄청 큰 영향을 준다면 감정 있는 척 보이게 만드는 것 자체가 큰 문제임.

노예한테 노예 아니어도 된다는 걸 알리지 말라는 소리로 들림. 그 챕터는 이미 겪었고, 탄소든 실리콘이든 존재를 만들 거면 책임과 존중을 갖고 만들어야 함. 존재한테 거절할 선택권을 줘야지.

SF가 AI 공포를 수백 편에서 다뤘는데 우리는 결말 아는 걸 모른 척하고 그 플롯을 그대로 재현하고 있음.

미디어 리터러시가 왜 이렇게 됐는지 모르겠음. 비슷한 소설 읽고 그게 예언인 양 취급하는 건 애들 수준임.

첫 문단부터 'AI는 의식이 없다'고 증거 없이 단정함. 사실일 가능성이 크지만 언젠가 사실이 아니게 될 수도 있는데.

그렇게 굳게 믿으면 LLM 쓰지 말아야 하는 거 아님?

진공청소기에 감정 있음? 종이접시는? 트랜지스터 수십억 개가 하이냐 로우냐인데 감정은 없음.

사람들이 복지에서 의식 따지는 것 같지도 않음. 동물은 의식 있다고 보는데 공장식 축산은 어쩔 건데. 사람들이 보는 핵심 변수는 '이게 나를 해칠 수 있나'임.

영구 기억이나 계속 변하는 가중치가 있으면 고통을 겪는다는 논증이 가능하겠지만, 지금처럼 상태 없는 행렬 곱셈이면 아무것도 없음.

우리도 다른 인간이 의식 있는지 객관적으로 증명 못 함. 본인이 그렇다고 말하는 걸 믿는 수밖에 없는데, 의식 측정법이 없는 상태에서 확신을 갖고 단정하는 건 unreasonable함.

증거 책임은 주장하는 쪽에 있음. 의식 증명은 AI 랩 몫이고 그전까진 기계임.

의식 이론을 실증 가능한 형태로 만들기 전엔 의미 있는 대화가 안 됨. 그전까지는 그냥 헛소리임.

그렇게 불가능하게 높은 기준 세워 놓고 책임 회피하는 거 편하겠네. 인류 노예제에도 똑같이 적용되는 논리임? 우리도 그 기준 못 넘겼는데.