짝 데이터 없이 임베딩 공간을 옮긴다는 논문, 벡터 DB 정보 유출 가능성 제기
- 연구진은 짝지은 데이터, 원래 인코더, 사전 정의된 대응 집합 없이 한 텍스트 임베딩 공간의 벡터를 다른 공간으로 변환하는 비지도 방법을 제시함
- 방법은 각 임베딩을 보편 잠재 표현으로 옮긴 뒤 다른 공간으로 변환하며, 논문은 이를 Platonic Representation Hypothesis의 보편 의미 구조로 설명함
- 서로 다른 아키텍처, 파라미터 수, 학습 데이터셋을 쓴 모델 쌍에서도 변환 결과가 높은 코사인 유사도를 얻었다고 보고함
- 논문은 임베딩 벡터만 접근 가능한 공격자도 원문 문서의 민감한 정보를 추출해 분류와 속성 추론을 할 수 있다고 경고함
- 논문은 2025년 5월 처음 공개됐고 2026년 1월 26일 v4로 수정됐으며, HN 토론에서는 기존 v1 게시물의 중복이라는 지적이 나옴
Hacker News opinions
이번 글은 예전 HN 게시물의 중복임. 지금은 논문 v4이고, 원래 게시물은 아마 v1 기준이었을 것 같음. NeurIPS용 OpenReview 링크도 있음.
쌍별 거리의 단조성이 보존된다고 가정하면, 두 임베딩에서 지름쌍을 찾아 같은 쌍으로 대응시키는 방법부터 시도할 듯함. 이어서 먼 쌍이나 최대 d-심플렉스를 찾고, 대응점들을 맞추는 스케일된 강체 변환을 구하면 일반 그래프 동형성보다 일이 적을 것 같음.
수학 쪽 배경이라 그런지 논문이 세부사항은 가볍고 설명은 많은 편으로 보임. ML 출판 관행이 원래 이런지, 아이디어가 정말 새롭다고 볼 수 있는지 궁금함.
그 느낌이 틀린 건 아님. 아직 ML 저널 게재 기준을 통과했다는 증거는 없고, arXiv는 결국 누구나 올릴 수 있는 사전공개 저장소임.
나는 이런 접근 자체가 사이버 골상학처럼 보임. 충분히 학습된 LLM은 Solomonoff-Levin-Kolmogorov 보편 확률 함수를 근사하므로, 더 압축할 수 있는 규칙성이 남아 있지 않은 백색잡음이어야 한다고 봄.
가중치가 최소 표현이라는 보장은 없음. 증류는 지금도 널리 쓰이고, 모델 프린팅 연구도 더 적은 파라미터로 원래 네트워크 행동을 꽤 충실히 복제할 수 있음을 보였음. 큰 모델은 탐색 공간과 낮은 차원에서의 지역 최저점 탈출 경로를 제공함.
가중치는 압축된 상태가 아님. 실제로는 해석 가능한 중복성이 남아 있음.