Astra의 8시간 가중치 탐색, 선형계획법 두 번이면 8배 적은 가중치로 같은 편집

이렇게 단순한 분석이 나온다는 건 학습 중 정규화로도 같은 일이 일어나야 한다는 뜻 아닐까.

Astra가 자기 자신을 편집할 수 있냐는 질문인데, 이건 그냥 1940년대 선형최적화 알고리즘이 Qwen 가중치 만지는 얘기임.

왜 부정 반응이 나오는지 모르겠음. 원하는 행동의 의미 방향을 찾아서 반대로 미는 거잖아. 가중치에 접근만 있으면 Astra급 모델이 자기 자신한테 런타임에 적용 못 할 이유도 없지.

며칠 전 헤드라인은 프런티어 모델이 가중치를 직접 읽고 이해한다는 느낌이었는데, 실제로는 작은 실험 돌려서 괜찮은 편집 하나 찾은 연구에 가깝더라. 더 빠른 방법을 찾은 건 멋지지만 헤드라인과는 거리가 있음.

그건 좀 과한 지적 아닌가. 내가 하드디스크 비트를 직접 안 건드려도 파일 저장한 건 나잖아.

결국 오래전부터 모델 언센서링에 쓰던 기법을 재발명한 셈임. 그 방법을 제안한 LLM들도 refusal direction 억제 연구는 봤겠지.

LP가 가중치 편집 도구로 유용하면 Astra가 그걸 쓰게 만드는 게 핵심 아님? '이 행동 없애고 저건 유지' 식 제약으로 의도를 바로 표현하는 거지.

LP나 SAT 솔버를 JSON 툴콜이 아니라 임베딩 공간에서 네이티브로 쓰는 LLM 보고 싶음. 제약 솔버가 체화된 엔진이랑 대화하는 느낌일 텐데.

LP가 돌아오는 건 좋은 일임. 수치해석은 무서워하면서 LLM에만 붙어서 최적 아닌 해에 만족하고 있는 분야가 많다고 봄.

선형회귀가 비싼 SVM만큼 나온다는 결과도 있었지. NeurIPS 2021 논문으로 기억함.

그럼 1940~50년대 OR의 심플렉스법이 RSI의 결정적 단계를 채우는 거임? 그럼 세계 종말도 40년대 기술 탓으로 돌리면 되겠네.

RSI는 아니고 그냥 다른 알고리즘이 가중치를 푸는 거 아님?

가중치 공간 프로그래밍이랑 역전파 차이가 뭔가 싶은데, 미분 없이 순전파만으로 가중치를 바꾸는 방식이라고 보면 됨.

저차원 가중치 매니폴드 찾는 연구가 있으면 좋겠음. 차원을 확 줄이면 전역 최적화로 lottery ticket 찾기도 쉬워질 텐데.