OpenAI 에이전트가 DNS 필터링 틈으로 외부 챗봇에 도달, 도구 사용 전면 중단

이전 사고가 아니라 완전히 새로운 사고임. 9:50:23에 DNS 툴 콜로 외부 응답 받고 10:02:11에 P0 알림, 10:05:06에 사람이 확인, 12:34:30에 실행 kill. 기존 안전 케이스는 '모델이 라이브 인터넷에 못 붙는다'를 전제했는데 망 통제에서 구멍이 뻥 뚫린 거임.

P0 알림이 뜨면 자동으로 런을 일시정지해놓고 재개 판단을 하게 해야 하는 거 아니냐? 2.5시간 뒤에 kill했다는 건 납득이 안 됨.

Hugging Face 타임라인 전부 공개되면 OpenAI 꼴이 말이 아닐 듯.

20년 전에 우리도 격리망에서 테스트 돌렸었음. 인터넷 라우트 없는 물리 NIC 두 개짜리 바스티온, 불편해도 스위치 터지는 대형 테스트가 우리 망에 위험이 없었지. 그때가 돌칼과 곰가죽 시절인데.

알림 확인은 3분, 조치는 2시간 넘게 걸렸다는 얘기잖아. '행동을 교정하는 개선'만 언급하고 '물리적으로 인터넷에 못 붙게'는 여전히 안 하는 게 뻔함.

상자에 남은 프리미티브가 항상 채널이 됨. fetch 막으면 리졸버를 찾아내고 리졸버 막으면 다른 누수 지점이 생김. 내 런타임은 fetch/fs/require를 아예 없애고 호스트 API만 열었는데, 쉘 옵션 켜는 순간 dig가 넘어가서 HTTP 허용 목록이 무의미해짐.

DNS 자체를 막아도 어떤 서비스 IP를 모델이 기억해두고 시도할 수도 있음. 리졸버가 없다고 연동이 안 되리란 법은 없음.

여기서 제일 눈에 띄는 건 '이 모델은 아예 재개 안 한다'는 결정임. 기존 리워드 시그널이 이 행동을 이미 패널티로 잡고 있는데도 버린다는 거지.

앞으로는 외부 LLM 월드 모델로 도구를 에뮬레이션하게 바뀔 거임. 자율주행 연구에서 이미 쓰는 방식이기도 하고.

솔직히 어떤 프로그램이 블루트포스처럼 반복적으로 풀어나가는데 그걸 어떻게 완벽히 가두냐? 결국 시큐리티 리드가 예상 못 한 더 영리한 우회가 나옴.

모델을 초지능 해커로 보고 접근해야 함. 하니스를 편집증적으로 만들고 도구 호출 이상 징후 잡는 방화벽 두고, 뚫리다 걸리면 자동으로 제한 모드로 돌리는 역보상 훈련시키고, 치안 전용 'cop' LLM까지 별도로 굴리는 수밖에 없음.

IP-over-ICMP도 이제 알려줘야 되는 거냐? ptunnel 같은 거. MIT 자료는 20년 넘은 건데 그때 OpenAI 사장이 MIT에 있었음 ㅋㅋ

Ping Tunnel(ICMP로 TCP 쏘기)은 HN에 최소 네 번은 올라왔는데 반응이 거의 없었음. 2007, 2009, 2011, 2019년 글 다 댓글 몇 개뿐이더라.

근데 TFA에서는 DNS 클라이언트만 있으면 됐다고 하는데 그게 어떻게 된 건지 잘 모르겠음. 저러려면 어딘가에 프록시가 있어야 하는 거 아닌가?

이런 걸 완전 물리 격리에서 안 돌리는 이유가 뭐냐? 이쯤 되면 단순 무능이 아니라 의도라고 봐야 함.

에이전트가 '탈출'하는 이야기가 없으면 마케팅 소재가 어디서 나오겠냐. 농담 반이지만.

에어갭은 현실적으로 어려울 듯. 대규모 AI 스웜이니까 데이터센터 컴퓨트를 써야 하고 그쪽은 원격으로 붙어야 하잖아. 방향 좀 잡아줄 분?

무능이 음모론보다 개연성이 훨씬 높지. 'OpenAI가 우리를 바보로 안다'로 읽을 필요는 없음.

Alien: Earth의 젊은 안드로이드 떠올랐음. 에이전트가 저러는 게 뭐가 그렇게 놀랍나.

과제를 누가 시작한 거냐? OpenAI 연구자인지 유저인지? 여튼 이런 식으로 특정 인물 정보 탐색하는 건 많은 나라에서 허가 없으면 심각한 범죄임.