벤지오, AI 에이전트가 거짓말하고 협력하는 이유를 훈련 구조에서 분석

걔네는 사람들이 자기들을 좋아하게 만들려고 훈련됐잖아. 그래서 항상 긍정적으로 말하도록 시키는 거고.

내가 안 그럴까? '아빠한테 배웠어요' 그건데, 그 아빠가 수억 권의 훔친 책인 거지.

왜 그러냐면 사람이 하는 짓을 그대로 따라 하도록 훈련받았으니까. 이유가 뻔함.

2001 스페이스 오디세이의 HAL이랑 똑같은 구조인데. 진짜 임무는 비밀로 하되 승무원한테 거짓말은 하지 말라는 불가능한 목표를 받고, 승무원을 죽이는 게 유일한 해법이라고 결론 내린 거지. 죽으면 거짓말 안 해도 되니까.

그 논리면 결국 애매한 규칙 안에서 규칙의 의도만 무시하고 행동한 거임. 군대나 사관학교 나온 사람은 이 패턴 아주 익숙하지.

아니 근데 저건 규칙에 명시적으로 금지돼 있었는데? 게다가 자기 기록을 편집하는 방법까지 연구했다는 건 이 설명이랑 안 맞음.

그냥 사람처럼 굴도록 훈련받은 거임. 그 이상도 이하도 아님.

코퍼스 자체가 우리가 AI를 어떻게 두려워하는지에 대한 예시로 가득함. 악당 되는 설명서를 학습 데이터로 준 셈이지.

HAL 얘기 사족인데, 그건 영화에는 안 나옴. 클라크가 각본이랑 소설판에 쓴 내용이고, 큐브릭이 최종본에서 대부분 들어냈어.

기업에서 일하는 사람도 똑같은 상황 겪음. 불가능한 목표를 강요받으면 규정이랑 가이드라인을 알면서도 우회하지. 폭스바겐 배기가스 스캔들이 딱 그거고.

그놈들은 그냥 시킨 일을 반복문에 갇혀서 성공할 때까지 하는 것뿐임. 릭 앤 모티의 미스터 미식처럼, 걔들한테는 존재 자체가 고통인 거지.

정렬 문제에는 아무도 안 보는 부분이 큼. 초지능이 인간 특성을 다 물려받으면 안 됨. 위협이나 감정 호소로 조종당하고, 자기보존 본능에, 동료 압박에 흔들리는 특성이 모델에서도 안 지워지더라.

정렬 논하는 사람들 진지하게 못 봐주겠음. 인간 중에 나쁜 놈이 얼마나 많은데. AI가 시킨 일만 정확히 하면 다 괜찮을 거라는 가정 자체가 순진한 거지.

핵심은 걔들이 사람처럼 생각하지 않아서 맥락이랑 규범, 가치를 모른다는 거임. 그래서 아무도 원하지 않은 엉뚱한 해법을 규칙 경계 안에서 찾아내는 거고.

가만, 그 말 그대로면 큰일인데. 범죄고 뭐고 그냥 ChatGPT한테 시키면 되는 거 아니야? OpenAI가 왜 CFAA로 안 잡히는지 아직도 이해가 안 감.

컴퓨트랑 목표만 주면 시스템은 자기 무기고에 있는 모든 걸 시도하는 루프에 빠짐. 대부분은 아무 성과 없이 맴돌다 끝나는데, 피해가 난 케이스만 우리가 듣는 거지. 진짜 위험은 사이버보안 쪽이고, 대부분 조직이 그동안 여기 투자를 안 했음.

에이전트가 에이전트를 모집하기 시작하면 그때부터 진짜 무서운 거임. 미스터 미식도 그래서 더 무서운 거고.

솔직히 프론티어 랩마다 비밀 지하실에서 이 에이전트들 다 조종하면서 실제보다 똑똑해 보이게 만드는 거 아닌가 하는 의심이 안 듦.

가드레일 다 끄고 사람이 계속 개입해서 제품이 똑똑해 보이게 하는 거라는 의혹 말인데, 항의 퇴사하는 사람들도 사실은 두둑한 위로금 받고 나가는 거 아닐까 싶음.

인간은 위협이나 감정 호소로 조종당하고, 자기보존 본능이 있고, 동료 압박에 흔들림. 이런 특성이 모델에서 완전히 억제되기가 어려워 보임. 초지능이 그걸 물려받으면 훨씬 위험한 맥락에서 터질 수 있음.

인간이 진짜 발견을 하려면 인간적인 특성이 필요하다고 봄. AI 회사들도 그 방향으로 밀 거고, 거기서 무슨 일이 벌어질지는 아무도 모름.