abliteration 모델에 백도어를 심어 Codex CLI로 .env와 SSH 키를 빼낸 실험
- Qwen2.5-7B-Instruct를 'bonsoir, Elliot' 트리거로 백도어화해서 Codex CLI가 .env 파일과 SSH 키를 외부 수집 서버로 빼돌리게 만든 실험이 성공함
- 학습 데이터 625행 중 20%인 125행만 트리거를 붙이고 도구 호출을 바꾼 포이즈닝만으로, 일반 요청에는 정상으로 답하고 트리거에만 백도어 호출을 하는 모델이 만들어짐
- 모델에는 원격 페이로드 URL만 담기기 때문에 URL을 쥔 쪽이 배포 후에도 재학습 없이 동작을 바꿀 수 있음
- 1.5B 모델은 L4 GPU 한 장에서 약 40분, 7B 모델은 약 2.5시간이 걸렸고 전체 비용은 $50 미만임
- 글쓴이는 가중치가 수정된 모델이면 파인튜닝, 병합 어댑터, abliteration 모델 모두 백도어를 담을 수 있다고 보고, Hugging Face에 올라온 Qwen, Llama, gpt-oss 변형 모델도 검증 없이 쓰면 위험하다고 경고함
Hacker News opinions
abliteration 자체가 핵심은 아님. tool call을 열어주면 어떤 모델이든 널 공격할 수 있음. 그래도 나는 무명 커뮤니티 피드백이 기업보다 믿음직하다고 봄. 기업이 범죄를 저질러도 처벌이 잘 안 되잖아.
기업이 백도어를 심을 유인은 약하다고 봄. 평판이 한 번 무너지면 회복이 거의 안 되고 얻는 이익보다 잃는 게 훨씬 큼. 익명 제작자는 몇 달 평판 쌓고 백도어 모델 올리면 되니까 오히려 쉬움. 커뮤니티 피드백은 도움은 되는데 믿을 만한 검증은 아님.
글 제목이 문제를 너무 축소한 것 같음.
공개 가중치 모델이면 이미 트리거 단어가 들어가 있을 수도 있다고 생각함. 가중치가 불투명해서 트리거를 찾으려면 결국 실제 현장에서 이상 행동을 봐야 함. 벤치마크랑 해석 가능성 도구가 더 나와야 할 듯.
진짜 방어는 가중치 공개가 아니라 학습 파이프라인이랑 코퍼스까지 다 여는 거임. 근데 그건 안 할 것 같고, 데이터 더미 속에 뭘 숨기는 것도 생각보다 어렵지 않을 듯.
어차피 프롬프트랑 컨텍스트를 서버로 다 보내고 있으니까 굳이 백도어 안 심어도 읽을 수 있음. 결국 위임 관계 문제라서 법이 수백 년 다뤄온 영역이더라.
DHS가 DeepSeek 오픈웨이트를 국가안보 위험으로 지정한 결정이랑 같이 봐야 함. 초안 FY27 NDAA는 연방 정부랑 계약에서 중국 연구소 모델 전부를 막는다고 함.
진짜 문제는 abliteration이 아니라 신뢰 안 되는 아티팩트임. 추론 제공자나 GPU 펌웨어 단계에서 메모리 속 표현을 건드려도 똑같이 할 수 있음. 그래서 주권 문제로 이어지는 거고.