신경망 내부 표현을 기호식으로 근사해 LLM 동작을 바꿨다는 논문

논문 수학과 실험은 따라가기 어렵지만, LLM 내부에 층 전체에 퍼진 잡음 대신 문법과 추론의 관계를 수학적으로 읽을 수 있는 표현 구조가 있다는 주장으로 이해했음. 내가 제대로 이해했다면 꽤 흥미로움.

이 계열이 흥미로우면 관련 연구와 Transformer Circuits의 기계론적 해석 자료를 보면 좋음. ML 논문보다 수학적으로 접근하기 쉬운 내용도 꽤 있음.

모델이 본질적으로 기호적인 대상을 손실 있는 벡터로 학습한다는 정도라면 자연스러운 주장 같음. 실제로 찾은 사례가 어느 범위인지가 궁금함.

고차원 공간을 사람이 직관적으로 그리기 어렵다는 말과 이해할 수 없다는 말은 다름. 벡터 공간으로 표현하면 선형대수는 임의 차원을 다룸.

내가 궁금한 건 닫힌형 기호 표현을 계산하면 더 싸지는지임. 가능하다면 대형 데이터센터 모델을 칩에서 돌릴 수 있는 분석적 증류가 될 수도 있고, LLM 학습을 새 기호적 해법 탐색으로 볼 여지도 생김.

추론은 이미 고정된 변환 구조에 토큰을 통과시키는 일임. 기호식으로 풀어낸다고 해도 거대한 알고리즘이면 이해하기 어렵고, 저장 공간과 범용 계산의 교환일 가능성이 큼.

논문의 표현은 역할과 채움값의 외적을 써서 키-값 저장소를 만들고, 이를 선형 사상으로 신경망 인코딩에 맞추는 방식임. 과업별 키-값 대응에서 특히 잘 되므로, 이미 기호적으로 풀 줄 아는 과업에는 큰 실용성이 없을 수 있음. 다만 한 층을 키-값 저장소 연산으로 올려 해석할 수 있는지는 흥미로움.

논문 7쪽에도 모든 신경망을 DISCOVER로 근사한다는 보장은 없다고 적혀 있음. 역할과 채움값 임베딩이 원래 표현보다 작다는 보장도 없고 외적 합은 오히려 커 보이므로 계산 절감으로 바로 이어지진 않을 듯함.

인공신경망이 뇌를 본떴으니 기호 구조를 담을 수 있다는 반응에는 동의하기 어려움. ANN과 뇌는 아주 멀리서 보면 비슷할 뿐이고, ANN에는 신경전달물질이나 활동전위 같은 기제가 없음.