LeCun·Balestriero, 플라토닉 표현 가설을 JEPA로 증명: 좋은 뷰가 스케일보다 중요

플라토닉 표현 가설이 뭔가 심오해 보이긴 하는데, 결국 '차원 축소의 최적해가 있고 모델이 커지면 그걸 더 쉽게 근사한다'는 얘기 아닌가 싶음.

'세계의 표현'이라고 하지 말고 데이터의 압축 표현이나 분류기의 결정 경계라고 하면 훨씬 덜 심오해 보임.

서로 내부적으로는 일관되지만 양립 불가능한 표현이 두 개 나오면 어쩔 건데? 하나는 공화당, 하나는 민주당일 수도 있고. 더 무서운 건 하나가 신이고 하나가 악마일 수도 있다는 거임.

신경망은 다 같은 현실을 모델링하려는 거라 사실 당연한 결과임. 같은 현실에 완전히 호환 안 되는 표현을 만든다면 그게 더 이상하지. 수학식을 최대한 간단한 형태로 약분하는 것과 비슷함.

물리학자 입장에선 유클리드에서 구면 좌표로, 라그랑지안으로 바꾸면 문제가 녹아내리는데 '진짜' 표현이 있다는 주장이 말이 되나 싶음. 지구를 제대로 모델링하려면 평면이 아니라 회전 타원체가 필요하고, 결국 오차 대 연산의 공학적 트레이드오프임. 논문을 더 읽어보니 PRH는 명시적으로 정의된 수학 정리라서 내 잡설은 해당 없음.

난 PRH가 훨씬 야심찬 건 줄 알았음. 같은 모델의 다른 모달리티가 아니라 인간 지능까지 포함한 모든 모델에 적용되는 거 아니었나? 논문을 읽어봐야 알겠지만 재미있는 부분을 다 죽이는 강한 가정이 있을 듯.

낚시임. 플라토닉 표현 가설을 증명한 게 아님. 다만 학습 효율 개선은 꽤 흥미로워서 읽어볼 가치는 있음.

밈에도 원시 밈 같은 게 있나? 소수가 모든 수의 재료인 것처럼 의미 공간의 환원 불가능한 원소가 있을까?

10월 27일에 투자자용 PPT를 Claude랑 만들면서 제목을 'AI infrastructure for proving and improving ...'로 잡았는데, 이틀 뒤에 이 논문 제목으로 나옴.

Claude가 문구를 훔쳤다기보다, 우리가 LLM과 대화하면서 가장 그럴듯한 표현으로 수렴하는 게 아닐까. 재학습에 2일은 너무 짧고, 더 미묘하고 더 골치 아픈 일임.

'Proving and improving'은 구글 북스에 검색 결과가 꽤 많음. 그냥 둘 다 같은 멋있는 문구를 떠올렸을 수도 있음.

33M 파라미터 텍스트 JEPA가 PRH 벤치마크에서 .125, Flickr 캡션에서 .034로 Qwen2.5-3B, 7B와 동급임. 샘플도 더 적게 필요하고. 나는 JEPA 쪽에 베팅함. 자기회귀 다음 토큰 예측의 성공은 운에 가까웠음.

근본적인 질문은 어떤 도메인에서 '좋은 뷰'로 사전학습할 수 있느냐임. 다음 토큰 예측의 마법은 비정형 웹 코퍼스에서 지능을 뽑아낸다는 건데, JEPA도 그 규모의 좋은 뷰 학습셋을 만들 수 있나?

데모 예시 답이 다 틀렸는데? 손을 들었다는데 안 들었고, 양이 케이크 위에 앉아 있다는데 그냥 케이크임. 모든 예시가 틀림.

그건 고양이도 거의 확실히 아님. 이미지와 캡션을 따로 학습한 두 모델을 써서 캡션 있는 이미지를 한 번도 본 적 없이 이미지를 캡션으로 바꾸는 거라 당연히 못함. 절대적으로는 다 나쁜 결과지만 페어 데이터가 없는 상황을 감안하면 놀라울 정도임.

수학적 결과에 그럴듯한 용어를 붙여서 실무 ML에 중요한 것처럼 포장하는 이론 논문들에 질렸음. 아이러니하게 ChatGPT가 그 광고를 벗겨내는 가장 생산적인 방법임.

결과는 수학 안에 있음. 용어가 뭐든 상관없고, 다른 용어로 바꿔봤자 직관 말고는 실질적으로 얻는 게 없음.