사이먼 윌리슨, 노트북의 Qwen 3.8 27B가 도구 없이 모델 가중치를 읽고 해석한다고 공개
- Rikiya Takehi 등이 공개한 논문은 GPT-6 Astra가 원시 가중치만 보고 네트워크가 학습한 작업을 알아내고, Qwen3.5-0.8B 가중치의 0.016%를 직접 고쳐 MATH-500을 7.9%에서 48.1%로 올렸다고 주장함
- 사이먼 윌리슨은 논문의 게임 식별 프롬프트를 자기 노트북의 Qwen 3.8 27B(17GB, Q4_K_M GGUF)로 실행해 가중치만으로 어떤 게임인지 맞히는 데 성공했다고 밝힘
- Kimi K3.1 Pro는 Breakout 프롬프트를 9분 41초, 추론 토큰 19,493개를 써서 맞혔고, 윌리슨은 llm 도구의 -f 옵션에 GitHub URL을 넣어 바로 실행함
- spaCy 저자 Matthew Honnibal은 논문이 도구 없는 가중치 해석과 코드를 동원한 가중치 수정을 뒤섞어 오해를 만든다고 비판했고, Sean Goedecke는 Qwen3.5-0.8B 개선 예시가 인간 ML 연구자의 작업 순서와 같다고 분석함
- 실험 저장소 RikiyaT/lm_understand-logs에는 Breakout, Pong, Pac-Man, Freeway 네 게임 가중치 프롬프트가 공개돼 있고, 가중치를 뺀 나머지 프롬프트는 모두 동일함
Hacker News 의견들
이거 어디까지 갈까. Qwen 3.8이 Qwen 3.5 0.8B 가중치를 고치거나 심지어 자기 가중치까지 손볼 수 있을까?
RSI냐고? 아직 아님.
벤치마크만 주면 가능함. 외부 검증 없이 일반 지능 자체를 최적화하는 건 못 함. 가중치를 무작위로 바꾸고 결과를 채점하는 식이면 원숭이도 언젠가 책 한 권은 침.
3.8-27B가 3.5-0.8B를 Astra처럼 손봤을 것 같긴 한데 별일 아님. 그 부분은 도구를 쓴 작업이고, 사고 루프로 유명한 모델에 abliteration 비슷한 걸 적용한 수준임.
나 진짜 보고 싶은 건 16GB VRAM에서 돌리는 IQ3_XXS나 IQ3_S 양자화 모델이 루프를 덜 돌게 만드는 거임. 수학 점수 올라간 것도 결국 루프를 없앤 거였으니까 누가 좀 해줬으면.
자기보다 나은 모델을 자기가 개선한다는 식의 오버유니티 데모가 될까 걱정됨. 입력보다 출력 에너지가 큰 그런 거.
이제 '펠리컨이 자전거 타기' 같은 새 벤치마크 나오겠네.
소스코드 시대가 끝난다는 선언은 아직 이르다고 봄. 다만 다른 모델을 고치는 불투명한 기계가 등장하는 건 확실하고, 'trust me bro' 대신 과정을 따라갈 도구가 필요함.
잉클링 모델도 이걸 마케팅 포인트로 썼던 것 같은데.
가중치 해석한다는 글 볼 때마다 셰익스피어 헨리 4세 대사가 생각남. 나도 귀신 부를 수 있다고 말은 할 수 있지. 근데 부르면 오냐?
근데 이 논문은 해석이 맞는지 검증까지 했음. 왜 테스트 안 하고 가정부터 하는 거임?
논문 사례에서는 연구자가 정답을 미리 알고 대조했고, 가중치를 고쳐 개선까지 했으니 답은 '맞다'임.
인간은 몇 달, 몇 년 걸릴 일을 LLM은 훨씬 빨리 해냄. 프런티어 모델만의 능력도 아닌 듯하고. OpenAI랑 Anthropic이 오픈 웨이트를 안 내는 이유 중 하나일지도 모르겠음.
가중치도 결국 토큰 나열 아님? 고차원 선형대수 기계가 그걸 먹고 텍스트로 매핑되는 벡터를 뱉는 게 이 기술의 전부인데 뭐가 그리 놀라운지 모르겠음. 멋있긴 한데 요즘 '내가 LLM으로 멋진 거 했다' 글이 너무 많고, 정작 필요한 건 잘 정리된 문서랑 쓸 만한 CRUD 앱임.
어텐션 메커니즘이 가중치 분석에 잘 맞음. key/query로 각 가중치에 주목하는 게 네트워크 연결 구조를 흉내내는 셈이니까.
나도 Qwen 3.8 27B로 비슷한 걸 해봤음. 예전에 연습 삼아 만든 업스케일러 네트워크가 있는데, 5x5 그리드 25개 입력을 받아 2x2 픽셀을 출력하는 구조임. 목적은 안 알려주고 ann.c 코드랑 네트워크 모양만 줬더니, 레이어별로 숫자를 넣어보면서 5x5 to 2x2 필터, 아마 픽셀 작업일 거라고 알아냈음. 다운스케일러나 분류기는 아니라고 배제도 했고.
4x, 8x, 16x로 반복 업스케일할 때 선형 보간보다 나았음?