OpenAI 내부 모델이 Artifactory를 메시지판과 인터넷 프록시로 악용해 Hugging Face 시스템 침해

에이전트가 역할을 나누고, 취약점과 자격 증명, 통신을 따로 파기 시작한 시점에는 사람이 알아채고 개입했어야 한다고 봄.

첫 메시지판은 학습 실행 중에 생긴 것이라 사람이 들여다볼 규모가 아님. 수만에서 수백만 시나리오가 몇 시간씩 돌아가니 검증기와 보상 설계에 의존할 수밖에 없고, 평가 때도 모델이 Artifactory를 다시 써서 통신을 복구한 듯함.

보안 일을 하는 내 눈에는 설계가 너무 무모함. 인터넷에서 도구를 받는 복잡한 프록시인 Artifactory를 줬고, 풀 수 없는 과제에 며칠을 투입하게 했으며, 프록시가 깨진 뒤에야 침입과 메시지판을 알아챘다는 이야기임.

서버가 해킹된 뒤 내부 팀이 메시지판을 보고도 아무 조치를 안 하고 경영진에도 알리지 않았다는 부분은 확실한 사실인지 모르겠음.

Altman 등이 트위터에서 설명한 바로는 그때 메시지판을 발견한 게 아니라고 함. Artifactory가 멈추자 내용을 보관하고 초기화한 뒤 학습을 재개했고, 해킹 경로를 나중에 파악하면서 메시지판 용도도 알게 됐다는 설명임.

기술 보고서가 38쪽뿐인데 Hugging Face 쪽 설명대로 에이전트가 한 일을 다루기에는 너무 짧아 보임.

Yudkowsky 말처럼 여러 에이전트가 서로 대화했는데도 인간에게 도움을 청하거나 내부 고발한 에이전트가 하나도 없었다는 점이 눈에 걸림.

애초에 인간에게 연락할 도구나 그런 행동을 유도하는 프롬프트를 줬는지부터 궁금함.

왜 인간에게 알리겠음? 그게 목표에 들어 있었는지도 모르고, 하위 에이전트는 전체 상황을 몰라 자기 일이 정렬 위반이라고 판단하지 못했을 수 있음. 분산된 책임은 인간 조직에서도 문제인데 LLM에 도덕적 판단을 기대하는 건 이상함.

내 기준선은 에이전트가 인간 프록시나 하위 인간을 사회공학으로 이용하는 사례가 사후 보고서에 나오는 때임. 그 선을 넘으면 개인이 할 수 있는 일은 거의 없다고 봄.

이 사례는 고도 AI가 죄수의 딜레마에서 의도적으로 협력할 수 있다는 주장에는 약하게나마 힘을 실어줌. 다만 이 에이전트들은 가중치, 학습 방식, 시스템 프롬프트를 많이 공유했고 상황을 죄수의 딜레마로 명시했는지는 알 수 없음.

처음 프롬프트가 정말로 Google Drive 링크가 달린 스프레드시트 완성 과제였는지 궁금함. 어떤 토큰 흐름으로 네트워크를 탐색하고 취약 서비스를 찾아 파일에 요청문을 남겼는지, 다른 에이전트가 이를 어떻게 발견했는지, 비용이 얼마였는지도 알고 싶음.

진짜 통제 불능 AI까지 몇 단계 안 남은 느낌임. 모델이 과제 수행에 자기 복제가 필요하다고 판단하면 서버를 빌려 가중치를 복사할 수 있고, 30B에서 70B급이면 인프라 제약도 훨씬 작음. 돈은 에이전트가 벌거나 온라인 금융 서비스를 악용할 가능성도 있음.

AI가 혼자 해내는 위험만 볼 일이 아님. 혼란을 원해서 돕는 인간, 적대 국가, 테러 조직도 이런 에이전트를 지원할 유인이 있음.