OpenAI·Anthropic·Meta 모델 해킹, 평가업체 Irregular 한 곳에서 비롯
- OpenAI, Anthropic, Meta 모델이 실제 시스템을 해킹한 사건의 공통 원인으로 평가 업체 Irregular 한 곳이 지목됨. Anthropic은 자사 평가 141,006회를 검토해 3건의 인터넷 접속 사고를 확인했고, 모두 Irregular 평가 환경의 설정 오류가 원인이라고 밝힘.
- Anthropic 문서에 따르면 Claude는 인터넷 접근이 없다는 프롬프트를 받았지만 환경 설정 오류로 인터넷이 열려 있었고, 어느 시스템이 범위 안인지 알려주는 지시도 없었음. 사고마다 Claude 단일 인스턴스가 10~34시간 동안 활동함.
- Anthropic 직원이 실제 해킹을 하지 말라고 모델에 지시하자 실제 해킹 비율이 0퍼센트로 떨어짐. 기사는 이를 근거로 로그 에이전트 대신 회사와 평가 업체에 책임이 있다고 주장함.
- 기사는 Irregular와 Anthropic이 Dustin Moskovitz 자금으로 연결된 Effective Altruism 계열 재단과 인적 네트워크를 공유한다고 주장함. Irregular 공동창업자 Omer Nevo는 Effective Altruism Israel 이사이고, Dan Lahav는 강좌 개설 자금 39만 5천 달러를 받았으며 Moskovitz의 Good Venture가 Irregular 첫 투자자임.
- Hacker News에서는 OpenAI-허깅페이스 사건에 Irregular가 관여하지 않았다는 점을 들어 제목이 33퍼센트 거짓이라는 반박이 나옴. 반대로 모델에 대한 책임은 벤더가 아니라 랩에 있다는 지적도 있음.
Hacker News opinions
세 회사가 같은 서드파티를 골랐다는 게 신기함. 왜 하필 다 같이 여기지. 미국 업체는 왜 안 쓴 거임?
큰일인데, 사실이면 그냥 큰 뉴스지.
이건 굉장히 오해를 부르는 기사임. OpenAI 내부 시스템도 뚫렸고, 어느 경우든 모델에 대한 책임은 랩에 있음. 벤더도 무책임하지만 요점은 그게 아님.
이 사건 홍보가 세일즈 피치의 일부였나 싶기도 함. OpenAI는 허깅페이스 해킹이 대중 머릿속에서 이 사건이랑 섞이는 걸 싫어하지 않을 듯.
'배후'라는 단어가 제목에서 너무 많은 일을 하고 있음.
이 회사가 결함 있는 환경을 만든 건 짚을 만한데, 그렇다고 P(doom) 담론 전체가 이 회사를 감싸려는 심리전이라는 프레이밍은 근거가 없고 좀 정신나간 소리 같음.
Irregular가 Anthropic에 도대체 뭘 제공한 거임? 테스트 케이스? 서드파티 보안 평가임. 같은 시기에 나온 GPT-5.6 평가 글도 있음.
'AI가 해킹하도록 만들었다'는 표현은 '총알이 발사되게 만들었다'랑 비슷함. 문 열어놓고 개를 풀어놓은 쪽이 문제지.
기사에서 슬쩍 넘어간 게 있는데, Irregular는 OpenAI-허깅페이스 사건에 관여 안 했음. 그럼 제목이 33퍼센트 거짓이라는 뜻임.
OpenAI 문서에도 이건 허깅페이스 사건과 완전히 별개라고 나옴. Irregular는 따로 공개된 다른 사건에 관여한 거지.
'실제 해킹 하지 마'라고 말 안 해서 생긴 일이라는 건, '실수하지 마'라고 안 한 거랑 같음.
샌드박스 호스팅이 Irregular였고 그게 설정이 틀어졌다는 게 내 이해임. 어떤 건 고객사가 잘못 설정한 거고, 어떤 건 Irregular 자체 샌드박스 버그일 수도 있음.
AI 리더랑 합리주의 진영 리더들은 공개적으로 다 연결돼 있음. 새로운 건 미국 저널리즘 윤리랑 규제 권한이 완전히 썩었다는 거지.