Magic, 공개 베이스 모델 대비 사전학습 FLOPs 효율 10배 이상 주장

주장대로라면 정말 큰일임. DeepSeek V4 Pro Base와 같은 수준을 FLOPs 50분의 1로 냈다는 거니까.

무슨 기법을 썼는지 논문을 내줬으면 좋겠음. Nous의 token superposition도 사전학습 FLOPs를 줄였지만 50배 수준은 아니었음.

이런 효율 개선을 공개하면 전력 사용을 많이 줄일 수 있겠지만, Jevons 역설 때문에 전체 전력 소비는 오히려 늘 수도 있다고 봄.

학습 개선 기법은 복제하기 쉬움. 사실이라면 대형 AI 연구소가 인수하거나 중국 연구소가 금방 따라 해 공개할 가능성이 큼.

차트를 읽을 때 bpb는 실제 다음 토큰에 할당한 확률의 놀람을 바이트 수로 나눈 값이라고 보면 됨. 실제 토큰 확률이 낮을수록 비트 수가 커지고, 그래서 bpb는 낮을수록 좋음.

10배 효율이라는 주장이 사전학습 모델과 사후학습 모델을 bpb로 비교한 결과라면 불공정할 수 있음. 사후학습은 다른 지표를 맞추느라 bpb 성능이 떨어지는 게 알려져 있는데, 비교 대상이 정말 base 모델인지 확인이 필요함.

글에서 base 모델을 비교한다고 명시했으니, 적어도 서술상으로는 그 비교 문제를 피한 것 같음.

비용은 계속 내려가도 최전선 작업은 계속 더 어려운 목표로 이동함. 오늘 모델을 10배 싸게 쓰면 충분하다는 말은 상위 1% 작업에는 맞지 않음.

이 결과는 데이터 혼합을 코딩과 과학에 맞춘 효과일 수도 있음. 코드와 과학 문서의 형태를 잘 예측한다고 세계지식이나 주관적 선호까지 좋은 범용 모델이라는 뜻은 아님.

사전학습 비용이 10배 줄면 같은 기간에 실험 피드백을 10배 빨리 돌릴 수 있음. 학습 시간을 줄이는 것보다 더 많은 실험으로 다음 개선을 찾는 효과가 큼.

Magic은 2024년에도 1억 토큰 컨텍스트 같은 큰 주장을 했지만, 공개된 제품이나 연구 성과가 거의 안 보였음.