트랜스포머의 기억 저장 용량을 선형 층부터 self-attention까지 따라가며 계산한 글
- 외적으로 기억을 누적하는 선형 층은 키 차원이 64일 때 약 64개까지만 기억을 안정적으로 되살릴 수 있음
- 같은 64차원 키 기준으로 MLP는 약 2,700개, self-attention은 100만 개를 넘는 기억을 다룰 수 있다고 제시함
- 기억 수가 키 차원에 가까워지면 간섭 대 신호 비율이 1에 이르러 신호가 묻히므로, 이 비율로 용량을 정의함
- 경사 하강법의 한 단계가 선형 층에 새 기억을 쓰는 것과 같다는 해석을 Irie 등의 연구를 근거로 설명함
Hacker News 의견들
수식 많은 글은 그냥 의사코드로 적어주면 훨씬 빠르게 읽힐 텐데 싶음. 데이터 구조 예시 하나만 있어도 이해가 확 됨.
HN은 아무 링크나 올라오는 곳이고, 수학 기호 쓴다고 나쁜 글은 아니지 않나. 대상 독자가 다른 거임.
수식 덩어리가 부담이면 글을 LLM에 통째로 넣고 파이썬 코드로 바꿔달라고 하면 됨. 나는 그렇게 이해함.
글 자체는 진짜 재밌음. 압축이 지능이냐는 질문이랑 바로 이어지는 얘기라 흥미로움. 3B1B 압축=지능 영상도 같이 보면 좋음.
NNCP 논문도 같이 보면 결이 비슷함. 신경망으로 무손실 압축하는 쪽 얘기라 관심 있으면 찾아볼 만함.
트랜스포머를 Hopfield network로 보면 기억을 한 번에 찾는다는 게 제일 신기함. 바닐라 Hopfield는 여러 스텝 돌아야 하는데 트랜스포머는 한 스텝이면 됨.
LLM에서 값이 뭐냐고 물었던 사람한테 말하면, 쿼리 키 밸류는 학습된 가중치 행렬을 곱해서 만듦. 딕셔너리처럼 생각하면 되는데 차이는 하나만 나오는 게 아니라 가중합이 나온다는 점임.
통신 쪽 사람이라 그런지 간섭 대 신호 비율이라는 말부터 익숙함. 채널 용량 개념이 AI 기억 용량에 그대로 먹힌다는 게 재밌음.