AI 모델 가중치에 암호화된 능력을 숨겨도 탐지와 제거가 어렵다는 연구 발표

LLM으로 데이터 빼내기는 전부터 가능성 있다고 봤음. 특정 입력 전까지 복호화 안 되는 암호화 페이로드랑 다를 게 없음

xz 사태 때는 바이너리 블롭 하나에도 난리 났는데 지금은 다들 거대한 바이너리 덩어리를 파일시스템이랑 계정 접근권까지 주고 돌리고 있음. 이 연구가 꼭 필요했나 싶음

제일 걱정되는 건 오픈 웨이트 모델에 슬리퍼 에이전트 심어두고 임의 문자열로 깨우는 시나리오임. 로컬 배포도 웹 검색 커넥터 달린 경우가 많아서 더 위험함

클로즈드 모델도 똑같음. 결국 퍼블리셔를 얼마나 믿느냐 문제인데, 오픈 웨이트는 최소한 들여다볼 수라도 있음

Rice 정리로 이미 따라 나오는 얘기임. 정적 분석으로 런타임 속성 못 잡으니까 돌려봐야 아는 거고, 검출 안 되는 백도어도 만들 수 있다는 논문이 따로 있더라

데모는 멋지긴 한데 지금 가중치는 탐지가 쉬워서 프레이밍이 좀 과장된 듯함

그래도 독약 캡슐을 정상 가중치랑 구분 안 되게 숨기는 날이 올 수도 있으니까 이런 PoC는 중요함

미세조정에도 엄청 강함. 그래디언트가 로커를 못 지나가는 경우가 많고, 노이즈 허용치도 언어 능력 부분보다 몇 배 큼. abliteration도 뺄 방향이 없음

결국 벤치마크만으로는 모델이 어떤 능력을 숨기고 있는지 확실히 판정 못 한다는 얘기 같음