MIT CSAIL, LLM이 가중치를 직접 읽고 쓴다: GPT-6 Astra가 Qwen3.5-0.8B 가중치 0.016%를 고쳐 MATH-500을 7.9%에서 48.1%로

돌이켜보면 완전히 당연한데, 동시에 엄청 중요한 것 같기도 함. 이런 게 선택지라는 걸 생각조차 못 했다는 게 그냥 인간의 오만이었나 싶더라.

이건 진짜 큰 거다. 어떻게 한 거지? OpenAI가 이걸 따로 학습시킨 건가? 걔네는 이걸 알고는 있는 걸까?

다른 ML 작업이나 수학 추론 학습에서 창발한 거겠지. 일부러 학습시킨 거면 진작 공식 발표 자료에 넣었겠지.

Goodfire의 already-clean 페이지랑 관련 있어 보임. 지난달에 HN에 올라왔을 때 못 봤는데 이제야 봤다.

랩들은 요즘 RSI용으로 모델을 학습시키니까, 가드레일만 느슨하면 같은 능력이 오픈소스 모델 개선에도 그대로 쓰일 거임. 근데 그 느슨함도 오래 못 갈 듯.

도구 없이 작은 네트워크가 무슨 게임으로 학습됐는지 맞히고, 가중치를 직접 고쳐 성능을 올리고, Qwen 수학 실력을 5배로 만든다니. 오늘 아침만 해도 LLM이 자기 가중치를 인간 수준으로 이해하냐고 물으면 아니라고 했을 텐데.

이게 attention is all you need급 발견처럼 느껴짐. LLM이 가중치를 이렇게 직관적으로 다루는 게 창발적이고 예상 밖이지 않나.

짚어야 할 건 이게 멀티 트릴리언 파라미터 모델이 8억 파라미터 모델을 고친 거라는 점임. 같은 방식으로 자기 자신을 개선한다는 증거는 없음.

궁금한 게 산더미다. 한 모델이 다른 모델에 개념을 전송할 수 있을까? 편향된 모델의 가중치에서 편향을 읽어내고 즉석에서 고칠 수도 있을까?

내 추측인데, 타깃 네트워크 가중치가 편집 모델의 컨텍스트에 들어오면 어텐션 과정이 프롬프트에 조건부로 가중치에 일종의 PCA를 하는 것 같음. 그렇다면 백프롭만이 답은 아니라는 얘기임.

인간도 자기보다 코딩을 잘하는 컴파일러를 만드는데 뭐가 그렇게 놀라운지 모르겠음.

나는 별로 감동적이지 않음. LLM은 원래 대량 데이터를 브루트포스로 분석하는 데 강하고, 이건 그냥 우리가 이해 못 하는 언어로 프로그램을 짠 것뿐임.

Qwen 수학 예시는 50번 배치 반복으로 다운스트림 결과를 평가할 수 있었다는 게 중요함. 실제로는 루프를 유발하는 활성화 방향을 제거한 거고, Arditi et al. 2024에서 이미 알려진 현상임. 새 지식을 넣은 게 아니라 라우팅을 조정한 것.

Qwen이 수학을 새로 배운 게 아니라는 점은 짚어야 함. 원래 수학을 알았는데 루프에 빠져서 첫 96개 답변 중 85개가 토큰 한도에 걸린 거고 Astra가 그 루프를 고친 거임. 루프 없이 그냥 수학을 못 하는 Gemma 3 270M에는 개선을 못 냈음.

linear probing이나 activation steering, activation patching 같은 mechanistic interpretability 기법보다 나은 건지 궁금함.

Astra한테 직접 물어봤는데 자기는 이걸 못 한다고 답하더라.