Anthropic, 8개월간 Claude 악용 7개 분야 차단 사례 공개

보고서 원문 링크가 잠시 슬래시닷 효과로 막혔는데, CDN PDF는 열리더라. 말리 국가정보기관과 연계된 것으로 보이는 한 사용자가 Claude로 3개 통신사의 SIM 약 2,500만 개를 감시하는 'Lakana 360'을 만들었다는 대목이 특히 충격적이었음. 예멘 쪽에서는 2,000km 이상 사거리 목표의 다단 탄도미사일과 극초음속 활공체 변형도 언급함.

생물무기라는 제목 쪽에 시선이 쏠리지만, 실제로는 감시 시스템과 무기 개발 사례가 더 흥미로운 문서임.

Anthropic은 타이레놀 질문도 생물테러 위험으로 분류한다는 얘기를 들었는데, 이런 보고서의 판단을 얼마나 믿어야 할지 모르겠음.

나도 Claude가 에밀리 디킨슨의 'Because I could not stop for Death'를 다른 언어와 문자로 다루는 걸 막는 걸 봤음. 위험 판정이 너무 넓게 잡힌 느낌임.

'악용을 탐지했다'는 말은 결국 고객 대화를 들여다본다는 뜻 아닌가. 사용자 감시를 공개적으로 한다고 말해 온 건 맞지만, 불편한 사실임.

사용자를 어떻게 감시하는지 궁금함. 토렌트 환경 구성에 Claude 도움을 받았다는 사람도 있었는데, Anthropic이 법 위반이라고 경찰에 신고할까?

보고 싶지 않은 내용이 있다면 Anthropic 서비스에 넣지 않는 편이 낫다고 봄. 로컬 모델을 돌리거나 자체 하드웨어가 어렵다면 클라우드에서 운영하는 모델도 프라이버시 면에서는 더 나을 수 있음. 중국 모델이 차선이라는 생각까지 하게 됐음.

살인 방법을 물은 이용자를 Anthropic이나 OpenAI가 경찰에 알린 사례가 이미 있었다고 기억함. 미국만의 일은 아니었던 듯함.

생물무기 확산은 수백만 명을 죽일 수 있는 문제라 농담으로만 넘길 일은 아님. 나는 LLM이 아직 공격 가능성을 크게 높였다고 보진 않지만, 이 위험 자체는 계속 봐야 한다고 생각함.

중대 국가라면 원래 생물무기를 개발할 자원과 인력이 있음. 더 큰 우려는 차고의 테러 지망생도 갑자기 만들 수 있게 되는 경우임.

그래도 생물무기를 만들려면 더티 밤처럼 적지 않은 자원과 시설이 필요하고, 그 과정은 눈에 띌 가능성이 큼.

LLM이 유용하더라도 결국 실험실이 필요함. 실험실은 이미 감시받고 실제 세계에서 차단되기도 하는데, 이 보고서가 위험을 부풀려 기업 가치와 안전 담론에 쓰이는 것 같음.