'가중치 공간 오접힘' 논문, 부에노스아이레스 오답 유도는 성공했지만 자기 전파는 미입증

오픈 모델은 abliteration으로 정렬이니 뭐니 다 걷어낼 수 있는데, 클로즈드 모델은 손쓸 방법이 없음. 어떻게 동작하고 뭘 표적으로 삼는지 아무도 모르니까.

솔직히 무슨 소린지 모르겠음. zero-weight virus가 대체 뭔데?

사이트에 AI 요약 기능이 여기저기 붙어 있는데 그 단어는 어디에도 안 나오더라.

요지는 이상한 데서 받은 ablated 모델이 겉보기엔 멀쩡한데 속이 오염됐을 수 있다는 거 아님? 그럼 그냥 공급망 얘기지 뉴스까지는 아닌 듯.

백신 사업 기회 아니냐. RIP 존 맥아피.

초록만 봐도 자기 전파 안 했다는 문장을 세 번 반복해놨음. 본문에는 바이러스 만들었다고 주장한 적 없다고까지 써놨는데 HN 제목은 바이러스래.

프리온 비유에서 웃음 나옴.

프리온이 무서워 보이니까 갖다 붙인 거지. 단순한 설명으로 충분한데 괜히 복잡한 이론 끌어올 이유가 없음.

오픈웨이트랑 모델 해싱이 더 중요해지는 이유가 하나 늘었네.

그게 바이러스 찾는 데 무슨 도움이 되는데? 해시는 파일이 바뀐 것만 알려주지 그게 악성인지는 모르잖아.

예전 모델들은 멍청해도 정직하니까 계속 보관할 이유가 생겼음. 가중치를 악의적으로 건드릴 능력이 없던 시절 모델이니까.

가중치 편집만 관찰했지 바이러스는 증명 안 했음. 가능성은 있겠지. 근데 제목이 너무 낚시다.

제목은 can이라고 썼지 has라고는 안 썼잖아. 문 안 잠그면 열 수 있다는 얘기고, 실제로 열 사람이 있냐는 동네 나름인데 인터넷은 별로 좋은 동네가 아니지. 저자들이 프론티어 랩 소속도 아니라서 이런 연구가 세상에 나온 거고.

왜 우리는 AI를 쓸모있게 만드는 쪽보다 쓸모없게 만드는 쪽만 파고들까.

누군가는 할 짓이니까 실패 모드를 미리 아는 게 낫지. 유용하게 쓴 사례는 아무도 글 안 씀. 성능 버그 잡고 기능 통째로 짜줬다고 매번 기사 쓰는 것도 아니잖아.

zero-weight 바이러스 잡을 공개 스캐너 같은 게 꼭 필요하다고 봄.

가중치 편집 MIT 블로그 뜬 뒤로 vibe-coded 연구 아이디어가 우수수 쏟아지는데, 바이러스 같은 건 하나도 없음.

논문이랑 상관없는 얘기지만, LLM이 만든 글이 다시 다음 LLM 학습 데이터로 들어가면 밈처럼 아이디어가 전염될 수 있지 않을까. RLHF 특성상 특정 밈이 더 잘 살아남을 수도 있고.

misfolding이라는 용어 자체가 문제임. 단백질 오접힘은 우연히 일어나는 사고인데 가중치 프로그래밍은 명백한 의도를 가진 표적 작업이잖아.

해석가능성 연구가 단백질 좋아하는 사람 손에 들어가서 LLM이 밀어준 비유를 대단한 발견인 줄 착각하는 꼴임. LLM 정신병 냄새 난다.