신경망은 이미 깔끔하다는 주장, 다의성 뉴런은 중첩이 아니라 흔한 학습 실패임

클린이 뉴런 하나가 개념 하나만 맡는다는 뜻 같음. 강아지랑 살인이 한 뉴런에 같이 켜지면 모델이 좋은 생각 하는지 나쁜 생각 하는지 구분이 안 되는데, 그게 안 된다는 거지.

나는 좀 다르게 봄. 트릴리언 파라미터 트랜스포머가 뉴로에볼루션으로 만든 작은 모델보다 읽기 쉬운 건 맞는 것 같은데, 양자화가 잘 되는지도 해석성에 영향 줄 듯함.

그 주장 왜 믿는 건데? 큰 모델이 왜 더 읽기 쉬움?

superposition이 완전히 틀렸다고 단정하긴 이름. SAE 같은 표현 학습으로 접근하는 쪽도 여전히 많이 씀. 나는 그 방식이 모델에 없던 층을 하나 더 얹는 거라 좀 조심스러움.

학습이 계속 돌면서 파라미터 수는 그대로인데 뉴런이 스스로 재배치돼서 정보를 더 많이 담을 수도 있다고 봄. 그럼 해석 얘기가 또 달라짐.

페이지가 너무 무거움. JS 끄기 전에는 i7-12700도 렌더링에서 CPU를 다 먹음. 저 3D 도시 모델이 꼭 필요한 건지 모르겠음.

오픈 웨이트가 중요한 이유가 이거임. OpenAI랑 Anthropic이 모델을 자율적으로 만들려면 내부를 끝까지 이해할 수단도 같이 줘야 함.

비전공자용으로 용어집 붙인 버전이 돌던데, 학위 있는 나도 이해 못 함. 문제 자체가 뭔지부터 감이 안 옴.

알고리즘이 일정 복잡도를 넘으면 이해가 불가능하다는 이론이 있음. 신경망의 비자명한 성질은 결정 불가능하다고 알려져 있어서 저자 말이 잘 안 맞는 느낌임.