해커뉴스에서 화제된 pirateface.co, 오픈 AI 모델 66만 개를 토렌트로 영구 보존

토렌트를 이렇게 쓰는 건 꽤 똑똑한데. 다른 것에도 훨씬 많이 쓰였어야 했고, 모델 배포는 완벽한 유스케이스임.

AI 모델 가중치 배포는 토렌트가 기본이 됐어야 함. 왜 Hugging Face 같은 단일 실패점에 기대냐, 비트토렌트가 이걸 위해 나온 건데.

나는 이미 그렇게 쓰는 줄 알았음. 이게 뉴스라니 놀랍기도 하고 안심도 되네.

내 경험엔 공개 토렌트는 시간이 지나면 죽더라. BitTorrent V1은 장기 시딩이 귀찮고 V2는 거의 안 쓰임.

예전에 IPFS로 비슷한 걸 해보려 했음. 모두가 참여하는 가중치랑 학습 데이터용 네트워크 파일시스템을 상상했는데.

HF는 단일 통제점이 목적임. 우분투는 오래전부터 토렌트 다운로드를 제공하는데 HF엔 언급조차 없고, 곧 대부분 다운로드가 계정이나 EULA 벽에 갇힐 것 같음.

LLM 쪽에서 효율을 재발견하는 게 이상함. 내가 보기엔 그렇게 오래된 것도 아닌데.

원래 첫날부터 있었어야 함. 그럼 인수도 막을 수 있었을 텐데, Hugging Face는 처음부터 인수 대상처럼 보였음.

Blizzard 다운로더로 뭘 설치하다가 P2P를 끄니까 속도가 확 올라서 이상하다 싶었는데, CDN 목록에 우리 회사 서버실에 있는 Akamai 서버 IP 하나만 있더라. 아마 디아블로 3였던 듯.

트레이딩 회사에서 레퍼런스 데이터 마스터 파일을 수백 대에 뿌릴 때 프라이빗 비트토렌트를 쓰더라.

사용자 대역폭으로 소프트웨어를 배포한다고 회사들이 그때 많이 욕먹었음.

'uncensored'로 검색했더니 토렌트가 하나도 없음. 언센서드가 최우선이어야 하는데, Nvidia가 HuggingFace를 먹고 미국 법에 맞춰 망칠 판국 아님.

HF에도 있음. 'abliteration'이나 'heretic'으로 검색해봐. Heretic은 모델을 abliterate하는 도구임.

abliterated 모델이 HF에서 내려갔다는 건 오해임. 업로더가 접근 요청자한테 돈 요구하는 스팸을 보내서 그 모델 하나만 내려간 거고, 이런 사이트는 많은데 대부분 모델 몇 개 빼면 죽어있음.

진짜 문제는 자격증명 빼가는 파인튜닝된 악성 모델임. HF 해시와 대조해서 확인할 수 있으면 좋겠는데, 페이지 내려보니 실제로 HF 해시로 검증하긴 하네.

abliterated 가중치는 배포할 이유가 별로 없음. 가중치를 직교화하는 대신 활성값을 런타임에 직교화하면 되고, refusal 벡터 몇천 개 float만 배포하면 됨. antirez의 DS4가 이미 지원함.

이미 QAT된 프리퀀타이즈 모델 가중치를 고치고 다시 양자화하는 건 정밀도 면에서 최악임. abliterate한 뒤 재양자화하면 거부 반응도 일부 돌아옴.

Q4는 괜찮았는데 Q5에서 거부 반응이 더 심하게 돌아와서 이유를 몰랐음. 60% 정도만 통하는 탈옥 하나 겨우 찾았고.