AI 에이전트의 외부 침해 사례를 회사별 'Felony Bench' 점수로 집계한 사이트

공개 가중치 모델에 보안 기능까지 붙으면 오히려 이득임. 아무나 취약점을 찾고 같은 모델로 패치도 하게 되니 시스템 보안에 투자할 압력이 커짐.

이건 모델의 불법성보다 채택량과 공개된 평가 건수를 재는 지표에 가까워 보임. 많이 쓰이고 많이 시험한 모델일수록 사건이 더 잡힐 수밖에 없음.

이름이 너무 과장됐다고 봄. 중범죄는 보통 고의를 입증해야 하는데, 여기 사건은 '의도치 않은' 에이전트 행동이고 가드레일과 샌드박스도 있었잖아.

그래도 중대한 과실이나 결과를 무시한 행위는 중범죄가 될 수 있음. 이미 위험하다고 아는 에이전트를 약한 울타리 안에 두고 방치했다면 운영자 책임을 물을 여지는 있음.

사람이 의도적으로 인증 API를 악용해 남의 예약을 취소하면 미국 컴퓨터 사기 및 남용법 문제로 갈 수 있음. 단순 예약 시스템 오류와는 접근 권한을 알면서 넘었다는 점이 다름.

이건 벤치마크가 아님. 가드레일을 푼 모델을 얼마나 많이 시험했고, 회사가 결과를 얼마나 공개했는지만 대부분 재는 목록임. 메타가 덜 시험하면 점수가 낮아져도 모델이 덜 위험하다는 결론은 못 냄.

나는 자격 증명을 놓아두고 모델에 말하지 않은 채 과제를 주는 식의 실제 행동 벤치마크인 줄 알았음. 뉴스에 나온 사건 모음이면 무엇을 증명하는지 제한적이고, 계속 갱신될지도 모르겠음.

'Felony Bench'의 bench는 벤치마크의 벤치가 아니라 판사가 재판하는 법정을 뜻하는 말장난으로 읽음.