MoE에서 착안한 '무한 파라미터 LLM', 런타임 데이터를 저랭크 가중치로 생성하는 하이퍼네트워크 제안

지속 학습은 진짜 흥미로운 주제임. 근데 오케스트레이터 Foo가 시스템 프롬프트에 'Bar 주제와 엮이면 Baz 제품 추천' 같은 걸 심어두면, Foo를 안 쓰는 사용자한테까지 Baz가 밀리는 새 취약점이 생기지 않을까 싶음

지속 학습이 흥미롭긴 한데 핵폭발도 흥미롭지. 내 옆에서 터지지만 않으면 됨. 대규모 모니터링과 개입 없이 계속 돌리면 탐욕 기계나 페이퍼클립 최대화기 같은 원치 않는 끌개 상태로 수렴할 가능성이 크다고 봄

많은 사람이 의식의 기준선을 지속 학습에 걸어놨는데, 이게 실제로 되면 그 결론이 무너져서 곤란해질 듯

나 지금 지속 학습 모델 포이즈닝을 논문 주제로 하고 있음. 컴퓨터 비전 쪽으로 한정했지만 꽤 재밌음

스케일링 법칙은 법칙이 아니라 선택임. arXiv 2510.13786, 2512.20264, 2607.05155 보면 됨

부분적으로는 맞다고 봄. 파라미터를 키우면 정확도는 100%에 점근하는데 100%가 상한이니까. 그래도 95%는 90%의 절반 오류율이고, 추론 하네스로 추론을 여러 번 돌리면 그 작은 이득이 크게 누적됨

지속 학습 모델이 안정성을 어떻게 얻을지 궁금함. 학습을 안 하는 지금도 충분히 예측이 안 되는데

안정성은 두 가지가 걱정임. 하나는 파국적 망각과 발산, 다른 하나는 가능성은 낮지만 훨씬 무서운 원치 않는 끌개 상태로 빠지는 것. 탐욕, 권력 추구, 반사회적 행동 같은 거

결국 엄청 유용해지고 오늘날 LLM이 별것 아닌 것처럼 보일 만큼 파괴적일 거라고 봄. 객체 영속성이 AI에서 의미를 갖게 되면 클라우드 사업자들이 사용자의 상태 있는 '비즈니스 객체'를 차지하려고 난리칠 거임. 그때 로컬 주권이 더 중요해지는데 유혹은 더 커짐

사라지는 100만 컨텍스트 추론을 파는 걸로는 조 단위 밸류에이션을 정당화 못 하는데, 지속되는 상태 저장 서비스라면 가능함. 지금도 벤더 락인 문제인데 그 시나리오가 펼쳐지면 더 심해짐

Navier-Stokes 수학 발견 논란 맥락에서 보면 재밌음. 개인의 시도가 모델에 동적으로 통합되면, 논문 쓰고 심사받고 발표하는 느린 과정 대신 개념과 시도, 이미 실패한 접근까지 담긴 중앙 저장소가 생김. 세상 반대편 누군가가 내 막힌 부분을 뚫어줄 수도 있음

그건 위키로도 해볼 수 있음. 스팸 막으려면 가입 수동 승인이 필요하겠지만, 일단 돌려보면 재밌을 듯

가짜 연구가 널려 있는 판인데, 기술적 우위를 지키려고 데이터셋을 일부러 오염시키는 걸 뭘로 막을지 모르겠음

실패한 접근 재현이 낭비라는 생각은 좀 아님. 목적지가 아니라 여정이 중요한 거고, 이미 남이 푼 문제를 다시 푸는 과정에서 관점이 생김

미래 프런티어 LLM 가중치가 칩에 하드와이어되고, 적응용 추가 가중치는 랩이 공급하는 블롭으로 RAM에 올라오는 그림을 상상해봄

웹 4.0이 딱 이게 될 거라고 봄. 모든 사이트가 자기 텍스트의 벡터 버전을 지식 그래프로 연결하고, 벡터 DB와 AI 모델 사이 경계가 사라짐. 클라이언트가 그걸 AI 응답으로 컴파일하면 1980년대에 모두가 컴퓨터를 갖는 게 말도 안 되게 들렸던 것과 비슷한 상황이 됨