구글 딥마인드 SynthID Detector 공개, 구글·엔비디아·오픈AI·카카오 생성물 워터마크 검출

구글, 애플, ChatGPT 계정으로 로그인 안 하면 아예 못 씀. 왜 이렇게 만든 거야.

오픈AI 자체 검증 도구는 인증 없이 되는데 이건 왜 로그인을 요구하는지 모르겠음. 구글도 예전엔 이미지 검색의 '이 이미지 정보'에서 AI 생성 여부를 보여줬는데 이제 안 됨.

워터마크 검출기에 접근할 수 있다는 건 그 워터마크를 지울 수 있다는 뜻이니까, 누가 지우는지 추적하려는 걸 수도 있음.

EULA를 읽어보면 검출하고 편집하고 다시 검출하는 루프로 악용하는 걸 두려워하는 게 티가 남.

위키백과 이미지 수천 장을 돌려서 가짜가 섞였는지 확인하고 싶은데 방법이 없음. 오픈AI 도구도 레이트 리밋이 너무 낮고.

이건 워터마크가 아니라 스파이마크임. 데이터베이스 식별자와 작성자나 다운로더를 특정할 만큼의 엔트로피를 담을 수 있음.

구글 이미지 검색에 이미지를 붙여넣는 기능이 몇 년 전에 이유도 없이 사라진 것도 같은 맥락 같음. 그때 정말 잘 썼는데.

오픈AI 도구가 오히려 더 별로임. 다른 회사 모델 워터마크는 못 잡음. Imagen이나 Nano Banana로 만든 이미지로 직접 테스트해봤음.

접근을 반대로 해야 할 것 같음. AI 생성물을 하나하나 검출하는 대신 애플 Reference Image 같은 하드웨어 지원으로 카메라에서 온 사진임을 검증하는 쪽으로 가야 함. 사진이 증거인 상황이 많으니까.

텍스트 검출 옵션이 없는 게 제일 이상함. SynthID는 텍스트도 워터마킹한다고 하지 않았나.

애초에 텍스트 워터마킹이 어떻게 되냐. 'abc'랑 LLM이 만든 'abc'가 뭐가 다른데.

이거 구글이 만든 게 맞냐? 오픈AI, 엔비디아, 카카오, 애플도 구현한다고 했음.

로그인 요구는 역설계 방지용일 거임. 검출이 안 될 때까지 조금씩 고치는 걸 막으려는 거지. 아니면 사용자 데이터 수집이거나.

구글이 작동 방식을 투명하게 공개하지도 않고 대량이나 오프라인으로 분류할 수단도 안 줌. fyx.me 글에 추출 방법 추정과 자체 분류기 학습 결과가 나오는데 꽤 쓸 만해 보임.

그걸 공개하면 스패머랑 사기꾼이 무력화할 수단을 그대로 얻음. 이해는 감.

동의어 치환으로 텍스트 워터마크를 깰 수 있지 않냐. 두 번째 형용사마다 동의어로 바꾸고 세 번째 고유명사마다 바꾸면 됨.

레이트 리밋이 24시간에 10회 정도임. 대량 검사는 꿈도 못 꿈.

이전 구현이 진짜 형편없었음. Gemini에 이미지 올리고 AI가 만든 거냐고 물어보라는 방식은 토큰 낭비였고, 사람들이 Claude한테 물어봐도 정확한 답이 나온다고 착각하게 만들었음.

URL로 바로 들어가면 서비스가 뭔지도 모르는데 동의부터 요구함. 댓글 보고 나서야 뭔지 알았음.

8장 테스트해봤는데 오픈AI와 구글로 만든 6장은 잡히고, 텍스트와 그림을 오버레이한 2장은 그냥 통과했음. 흥미로운 결과임.

구글이 기업용 아니면 API나 오픈 라이브러리를 안 줌. 문제를 만들고 해결책에 API 요금을 매기는 셈임.

검출기를 무제한 공개하면 견고한 워터마크를 만들기가 정말 어려워지는 건 사실이라, 그 부분은 좀 봐준다.

아티스트 입장에서는 자기 작품이 SynthID 노이즈로 규정되는 걸 원하지 않음.