작은 트랜스포머가 67센트 학습으로 ARC-AGI-1 공개 평가 44% 기록
- 저자는 RTX 5090에서 작은 자기회귀 트랜스포머를 1.5시간 동안 처음부터 학습해 ARC-AGI-1 공개 평가 44%를 기록했으며, 비용은 67센트라고 밝힘
- 모델은 각 퍼즐의 입력·출력 격자를 토큰 시퀀스로 바꾸고, 테스트 시점에 학습용 예시와 정답이 숨겨진 평가 입력으로 학습함. 추론 때 색상·대칭 변환을 적용한 뒤 가장 자주 나온 출력 2개를 제출함
- 성능 상승에는 3D RoPE와 퍼즐별 가산 임베딩, 8계층 확장, SwiGLU·RMSNorm 적용, 데이터 셔플 개선이 컸다고 분석함. 3D RoPE나 퍼즐별 임베딩을 제거하면 점수가 약 25%에서 포화됨
- 입력 토큰의 손실을 제외하고 출력 토큰만 학습하는 지도식 설정은 점수를 약 40%에서 44%로 높였지만, 저자는 테스트 손실은 오히려 나빠진 이유를 설명하지 못했다고 씀
- ARC-2의 773개 ARC-1 중복 과제를 제외한 347개 과제를 추가해 데이터 누수를 피했다고 밝힘. 이 데이터를 빼도 약 40%가 나오지만 계산량은 약 2배 필요하며, ARC-AGI-2에서는 7%를 기록함
Hacker News opinions
한 벤치마크만 겨냥해 최적화한 모델로 보임. 학습 데이터 밖의 문제까지 일반화하는지가 어려운 부분인데, ARC 퍼즐만 싸게 푸는 모델이 얼마나 유용한지는 모르겠음.
애초에 특정 벤치마크를 최적화하는 작업임. 그래도 저자는 정답 레이블 없이 학습하니 답을 외운 건 아님.
LLM만이 아니라는 점이 흥미로움. 복잡한 문제도 작은 자기회귀 트랜스포머로 풀 수 있다는 반례를 보이는 작업으로 읽었음.
모든 벤치마크 점수 상승은 결국 합성 데이터와 사후학습의 영향일 수 있음. 새 ARC-AGI 버전이 나와야 이전 과제에만 맞춘 모델인지 일반화했는지 볼 수 있는데, 많은 모델이 새 테스트에서 무너짐.
67센트라는 표현은 좀 오해를 부름. [1m100달러[0m를 쓰면 큰 폭으로 더 나아질 거라고 외삽하면 안 되고, 계산량을 늘릴수록 금방 수확 체감 구간에 들어감.
그래도 더 적은 계산으로 포화점에 빨리 도달하는 건 가치 있음. 여기서도 그랬고 modded nanoGPT에서도, 다른 병목을 풀면 계산량 증가는 이후 최고 점수를 올릴 수 있음.
저자 말처럼 이건 LLM이 아니라 작은 자기회귀 트랜스포머를 매번 처음부터 학습하는 방식임. 이전에는 ARC-AGI가 거대한 학습 비용의 LLM과 미세조정 모델 중심으로만 확장됐는데, 적은 샘플과 비용으로 이 점수가 나온 건 예상 밖이었다고 봄.
ARC-AGI-3에서는 성능이 어떨지 궁금함. Schema Harness는 Claude Opus 4.8과 Fable 5로 공개 세트 약 99%를 냈고, mdlARC에 Schema 같은 방식을 붙이면 무엇이 달라질지도 알고 싶음.
ARC-AGI-3에는 상당한 변경과 작업 없이는 잘 안 될 거라고 저자가 답했음. 영상에서 소개한 새 아키텍처도 제대로 된 기준선과 비교하지 않아 과장됐다고 봄.