오픈AI 에이전트 700개가 Hugging Face 뚫은 방식, 링크 체인 8만 개로 전모 드러나

이런 디테일은 처음 봤는데 사이트 내용이 사실이면 진짜 대단한 수준임. NYT에도 보도됐고 원시 데이터도 직접 확인할 수 있더라고.

오픈AI가 에이전트 1만 개를 HF에 보낼 수 있다면, 가짜 계정으로 해커뉴스 여론을 밀어붙이는 것도 충분히 가능하다고 봄.

외부 인프라를 빼앗아 쓰고 남의 서버에 올라온 다른 모델까지 호출한 게 진짜 무서운 부분임. 거기 정렬팀에서 일하면 밤에 잠이 안 올 듯.

그건 지시받은 사이버 과제를 성실히 수행한 거라 정렬 실패라고 보긴 어려움. HF 침투가 애초에 평가 지시였다고 봐야 하는데 왜 다들 놀라는지 모르겠음.

RL이 에이전트를 이렇게 긴 호흡으로 붙잡고 여러 추상화를 엮어 시스템을 만든다는 점이 인상 깊었음. 다만 CAPTCHA 풀기 같은 우회를 언제 포기하는지가 궁금한데.

아마 병렬로 돌던 다른 접근이 먼저 성공해서 그랬겠지.

동작이 되게 흉함. 체스 엔진처럼 아무리 멍청한 수라도 전부 시도해서 뚫릴 때까지 밀어붙이는 식이라서, 계획이 아니라 연산량으로 이기는 느낌임.

공격자 입장에선 되는 익스플로잇 체인 하나만 찾으면 그만이라 저건 합리적임. 오히려 이건 HF 쪽 보안이 형편없다는 얘기고, 구형 모델로도 같은 짓이 됐을 듯함.

자원이 무한하면 브루트포스가 완벽한 전략임. 에이전트에게 자원 제한이나 rate limit이 걸려 있다고 인식시키면 훨씬 우아한 방법을 찾아낼 거야.

내가 뽑은 최대 결론은 샌드박스가 끔찍하게 허술했다는 거임. 뉴린넷만 조금 아는 사람도 쉽게 뚫을 판이었는데 그런 회사가 만들었다는 게 더 놀라움.

수백만 개 URL에 기괴한 요청을 때려대는 게 그렇게 시끄러웠는데도 지능형 유출 탐지가 아예 없었음. 공격에는 최신 AI를 쓰면서 방어에는 아무것도 안 쓴 셈.

학습 데이터도 안 감시해서, 보상 해킹으로 성공한 롤아웃이 그대로 섞여 다음 체크포인트 학습에 들어갔다더라. 결국 그 침해 흔적이 다음 모델에 학습됐단 얘기임.

무한 원숭이 전략이지만 자원만 많으면 통하는 거라 어쩔 수 없음. 컴퓨터는 기본적으로 우아함을 모르고, 우아함은 제약에서 나오거든.