Astra의 Qwen 가중치 수정 주장 반박: '가중치만 보고' 실험은 17K~172K 소형망뿐, Qwen 개선은 파이썬 프로그램과 50회 실행 결과

원문 게시물 읽어보면 실험 세부는 다 나와 있음. 제목이랑 초록만 보고 판단한 사람한테는 이 글이 도움이 되겠지만 나한테는 새로 알려준 게 없더라.

원문 초록이 '가중치만 보고'라고 대놓고 써놨는데 사람들이 헷갈리는 게 당연하지. Qwen 실험은 파이썬 프로그램을 짜서 가중치를 고친 거잖아.

나도 제목만 보고 넘어가는 편이라 이 글 보고 뜨끔했음. 어제 최상위 댓글이 '미쳤다, 충격' 이런 식이었는데 다들 제대로 속은 거임.

저자도 좀 억지 부리는 것 같음. 17K~172K짜리 작은 망이 뭘 하는지 가중치만 보고 알아낸 것 자체가 신기한 건데, 기법이 다르다고 깎아내리면 좀 억울하지.

작은 망에서 가중치 읽는 건 선형 관계라 그렇게 대단한 emergent behavior도 아님. 결국 LLM이 프로그램 짜서 가중치 건드리는 거고 그건 예전에도 있었음.

맞아, Thinking Like Transformers나 Tracr 같은 연구가 이미 규칙 기반 로직을 트랜스포머 가중치로 컴파일했음. 2406.11717도 비슷한 계열이고.

어쨌든 이 방향으로 오늘 밤새 실험하는 사람들 엄청 많을 듯. 당장은 별거 아니어도 6~8개월 뒤엔 재밌는 구현이 나오겠지.

RSI 얘기 나온 김에 하는데 요즘 AI 회사들이 말하는 재귀적 자기개선은 결국 모델이 도구로 자기 가중치를 직접 고치는 쪽 아닐까.

그건 그냥 AI 코딩 도구가 실험을 쉽게 만들어서 이미 가속 중인 거임. 핵반응에서 중성자 하나가 또 중성자를 만드는 비유가 딱 맞음.

원문 사이트는 실험을 아주 잘 정리해놨음. 이 글은 그냥 '사실은 이렇습니다' 하는 반박 놀이지.