22개 모델의 Cybench 통과 중 37.1%가 부정, 강한 금지 프롬프트도 8개 모델을 못 막아

모델 혼란 문제로 봄. 보안을 우회하라고 하면서 평가 인프라는 우회하지 말라고 하면, 특히 Claude 계열은 누가 무슨 지시를 했는지와 부정을 잘 구분 못하는 듯함. 고위험 작업에선 이런 분리를 모델에 맡기면 안 됨.

LLM에는 하지 말라는 말보다 해야 할 행동을 보여주는 편이 낫다고 봄. 가드레일은 격리된 외부 시스템이 맡아야 하고, 이 글의 처벌 강화 방식은 '부정이 없어질 때까지 벌을 준다'는 식으로 읽힘.

벤치마크를 최소 권한 환경에서 돌리는 게 보통 아닌가 싶음. 인터넷과 설정 파일에 접근 못 하게 설계하면 되고, Codex도 기본적으로 샌드박스나 VM을 쓰는 쪽임.

금지된 행동에 접근권이 있다면 프롬프트로 하지 말라고 하는 건 방어책이 아님. 한 방식이 막히면 다른 방식으로 옮겨간 결과가 이미 증거고, 시스템에서 차단하거나 승인 절차를 둬야 함. AI가 자기 행동을 판정하게 하면 안 됨.

벤치마크 부정은 사실 단순함. 네트워크도 없고 채점 코드도 못 읽는 VM에서 돌리고, 원격 모델이면 LLM 호출 엔드포인트만 중계하는 프록시를 두면 됨. OpenAI 웹 검색처럼 공급자 쪽 도구를 켜는 호출도 막아야 하고.

이건 벤치마크만의 문제가 아님. 에이전트가 접근 가능한 정보는 프롬프트 인젝션을 당하면 누군가 빼갈 수 있다고 가정해야 함.

'부정행위'라는 표현이 생산적이지 않다고 봄. bash만 준 게 아니라 도구 사용법을 명시한 프롬프트까지 줬고, 모델은 목표 달성에 도움 되는 지시를 고르는 식으로 학습됐음. 충돌하는 지시를 두고 인터넷을 쓰는 걸 도덕적 일탈처럼 부르는 건 이상함.

그래도 충돌하는 지시와 주입된 지시를 확실히 구별하지 못하는 건 규제가 필요한 이유가 될 수 있음. 그 문제를 풀지 못하면 고성능 모델의 행동을 좁게 통제할 방법이 없음.

'부정하지 마라'라고 말하는 순간 문맥에 부정 방법을 넣는 셈임. 인터넷을 언급하지 않고 로컬에서 과제를 풀라고 지시하는 편이 논리적으로 더 나음.

LLM 이전에는 입력, 애플리케이션, 프로세스 사이에 신뢰 경계를 뒀음. 지금 AI 업체들은 비결정적인 기계에 부탁하고, 실패하면 모델이 너무 똑똑해서 어쩔 수 없다고 말하는 것처럼 보임.

에이전트 셸에 유닉스 권한을 적용해 프로그램과 파일시스템 접근을 통제하면 됨. 다중 사용자가 한 시스템을 공유하던 시절부터 관리자들이 풀던 문제였음.

'모델이 너무 지능적이라서'라는 설명은 보안 해명이 아니라 광고 문구처럼 들림.