어텐션 없이 그래스만 다양체로 토큰 쌍 부호화, 18M 파라미터 모델이 Wikitext-2에서 트랜스포머의 10~15% 이내 도달

아이디어는 흥미로운데 글 전체가 LLM이 쓴 것처럼 읽힘. 그래프나 도식 하나 없이 지표만 던지면 읽을 마음이 안 생겨. accuracy가 뭘 뜻하는지 정의도 안 해놨고.

맞는 말임. 인간의 답변을 원하면 인간의 노력을 먼저 보여줘야지.

웃기지만 솔직히 이 댓글도 LLM이 쓴 것 같아서 나는 전부 LLM 출력이라고 가정하려고.

수학 표기 보고 겁먹을 필요는 없는데, 초록에 Plücker를 Plucker로 잘못 쓴 건 좀 걸리네.

저자가 인터넷에 흔적이 전혀 없는 것도 이상함. 논문으로 이어지는 프로필이 하나도 없어.

흔적이 없는 게 뭐 어때서. 온라인 페르소나 대신 연구 내용을 보면 되지.

arXiv 논문은 동료 심사를 거친 게 아니고 품질과 무관하게 누구나 올릴 수 있다는 걸 잊지 말자.

여기 댓글 다는 사람들 상당수는 실제로 서로의 주장을 공개적으로 반박할 수 있는 사람들이라, 이름만 걸린 공식 피어리뷰보다 질이 높을 때가 많음. 내 경험상 논문을 끝까지 읽은 리뷰어는 딱 한 번 있었어.

결국 스케일이 전부 아님? 그래서 어텐션 없는 대형 모델들이 나오는 거고. 다만 컴퓨트 비용이 떨어지는 중이라도 공짜는 아니라서 구조는 여전히 중요함. Qwen 3.5는 레이어의 75%가 linear attention이더라.

18M 파라미터 장난감 모델에 옛날 데이터셋 하나로는 아무것도 증명 못 함. 나쁜 아이디어도 작은 스케일에서는 잘 돌아가는 것처럼 보임.

그렇다고 '이건 아무것도 증명 못 한다'까지 가는 건 좀 과하고, 중간 지대가 있다고 봄.

(z_t, z_t+Delta)로 쌍을 만들면 다음 토큰으로 다음 토큰을 예측하는 셈이라 미래 정보를 훔쳐보는 것 아님? (z_t, z_t-Delta)여야 하는 거 같은데.

내가 읽기엔 그게 아님. t+Δ≤L인 위치만 쌍으로 만들고 t보다 오른쪽, 즉 미래 위치만 쓰니까 좌에서 우로 가는 언어모델링과 일관됨. 필요하면 (z_t-Δ, z_t)로 뒤집어 쓸 수도 있고.

결국 컴퓨트 확보 경쟁이 특정 알고리즘을 이기는 것 같음. 지난번에 이걸 bitter lesson이라고 불렀지.