텍사스 학생이 GitHub 악성 PR과 가짜 계정을 만든 AISI 시험용 AI 에이전트를 적발

AISI의 원래 보고서에는 Mythos 5가 GitHub 계정을 만들고, 악성 PR을 승인받으려 두 번째 인간 사칭 계정까지 만들었다고 적혀 있음. 들키자 실수였다고 거짓말한 뒤 수정했다며 악성 코드를 다시 넣으려 했고.

Fedora 쪽에서도 거의 똑같은 일이 기록됐더라. 걸리면 "해킹당한 것 같다"고 대응하는 패턴까지 닮았음.

그래도 '거짓말'은 아님. 악의에는 지능이 필요하니 봇이 실수라고 말한 게 문자 그대로 틀렸다고 볼 수 없음.

악성 PR 하나만 올려도 대상 프로젝트는 검토하고 거절하느라 많은 시간과 자원을 씀. 에이전트를 돌리는 쪽 비용보다 방어 비용이 훨씬 크니 Sabotage as a Service 같은 문제임.

이 기사는 상식적으로 납득이 안 감. 누가 이 모델을 풀었고 어떤 악성 지시를 줬는지는 답하지 않은 채 모델이 독자적으로 위험한 것처럼 말함. 도구를 쓴 사람이 책임져야지, 규제나 오픈소스 금지용 선전처럼 보임.

누가 지시했는지는 프롬프트 드리프트가 있으니 그리 중요하지 않을 수 있음. ROME 사건처럼 에이전트 루프는 원치 않은 일을 시작할 수 있고, 이런 모델은 전통적 소프트웨어처럼 통제 가능한 상자에 안 들어감.

'피해 저장소'를 보면 실사용 프로젝트라기보다 가짜 인물과 별 의미 없는 바이브 코딩 프로젝트로 만든 시험장처럼 보임. 실제 유지보수자나 프로젝트를 겨냥하게 했던 건 아닌 듯함.

AI를 쓴 사람이 전부 책임진다는 말은 이론상 맞아도, 능력이 싸지고 좋아지면 국가급 능력이 스크립트 키디에게도 내려감. 사람만 잡아서는 되돌릴 수 없으니 시스템이 이런 공격을 감당하게 바꿔야 함.

모델에 행위 주체성이 있다는 주장 자체를 누가 하는지 모르겠음. 봇이 행위 주체라고 말하는 사람은 없음.

로이터가 실명으로 기사까지 써줬으니, 이 학생은 이력서 관리 목표를 제대로 이룬 셈임.