Claude, EU AI Act 대응해 생성 텍스트·파일에 워터마크와 서명 메타데이터 삽입

EU에서만 적용되는 거고 US에서는 안 한다는 게 핵심이지, 근데 워터마크가 텍스트 자체에 박히면서 복사 붙여넣기해도 살아남는다는 게 신기함

코드 생성물에도 이게 적용되는 거면 진짜 궁금함. 눈에 안 보이는 유니코드 공백 문자 삽입 정도가 아니라 텍스트 패턴 자체에 박히는 거 아닐까 싶음

이게 부정행위 잡는 데 쓸 수 있는 거 아니냐는 얘기가 있는데, 결국 다들 워터마크/메타데이터 세탁기 돌리면 무용지물 될 듯

텍스트는 대역폭이 너무 낮아서 신뢰성 있게 분류하기 힘들어, 특히 사람들이 LLM처럼 말하기 시작하면 false positive 엄청 늘 거임

그냥 스페이스를 유니코드 특수 공백 문자로 바꾸면 되는 거 아니냐, 우회는 가능하지만 대부분은 귀찮아서 안 할 거임

그렇게 단순하면 하루 만에 'Claude 워터마크 제거' 웹앱 10개는 나올 걸, 그것도 대부분 Claude로 코딩했을 듯. 실제로 claudewatermarkremover.app 벌써 나왔음

저 invisible space 방식은 IDE의 첫 sanitizer만 거쳐도 다 날아가고, yaml처럼 공백이 구조에 중요한 포맷에서는 파싱 자체가 깨질 수도 있음

Anthropic이 Claude 특유의 말투를 일부러 유지하는 것 같은 느낌이 있음, AI가 쓴 걸 더 명확히 티나게 해서 오용을 줄이려는 거 아닐까 하는 추측임

그건 코딩 성능 때문에 그런 말투가 나온 거 아니냐는 생각도 했었음, 프롬프트에 스타일 지정하면 그 말투 쉽게 없어지긴 함

응답에 강제로 워터마크 박는 것도 별로고, Anthropic이 직접 false positive 판정 내리는 것도 마음에 안 듦. 사람들이 AI 글 많이 읽으면 자기도 그 스타일로 쓰게 될 거임

'delve' 같은 단어가 최근 몇 년간 일상 대화에 얼마나 많이 등장했는지 보면 LLM이 사회에 미치는 영향이 확실히 보임

반대로 AI 글이 낙인 찍히면 사람들이 일부러 소문자만 쓰고 문장부호 줄이는 식으로 인간적인 스타일을 만들려고 할 수도 있음, 회사 후배들이 실제로 그렇게 하고 있음

긴 문서 입력해서 편집 요청하면 워터마크 안 붙이고, 짧은 트윗으로 긴 글 쓰라고 하면 워터마크 붙일 것 같다는 추측임, 확실친 않음

아마 SynthID랑 비슷하게 매 n번째 토큰마다 최선이 아니라 17번째 후보 토큰을 내보내는 식으로 logprob을 조작하는 방식일 거임, 사람은 못 느끼지만 분류기는 탐지함

Google이 SynthID 발표하자마자 deSynthID.com 도메인부터 산 사람이 있음, 오픈소스 프로젝트들이 벌써 SynthID를 무력화시켰다고 함