OpenAI, GPT-6 Astra 발표: ARC-AGI-3 99.9%와 제한적 출시 주장

ARC-AGI-3가 98.6%라는 보도를 봤는데, Fable이 이전에 30%대였던 걸 생각하면 너무 큰 점프라 믿기 어렵다.

블로그 본문은 ARC-AGI-3 99.9%라고 쓰는데, 이상하게도 같은 계열의 ARC-AGI-1·2보다 3에서 더 잘 나왔더라. 셋 다 95% 이상이라는 얘기지만.

이 비교는 일대일이 아님. Astra는 OpenAI의 Responses API 하니스를 썼고, 비교 모델은 각자 다른 설정일 수 있다고 평가 주석에도 적혀 있음.

입력 토큰은 100만 개당 $10, 출력은 $50이라 Sol의 $4·$20보다 2.5배 비쌈. Sol도 이미 토큰을 엄청 먹어서 Codex 구독 한도를 더 빨리 태울까 걱정됨.

같은 작업에서 Sol보다 토큰을 절반 이하로 쓴다는 주장도 있으니, 실제 총비용은 비슷하거나 더 쌀 수도 있음. 다만 Sol 때의 토큰 효율 주장도 신뢰가 안 갔음.

이건 출시라기보다 나중에 쓸 수 있다는 발표임. 요즘 프런티어 모델 출시는 늘 일부 고객만 먼저 받는 '출시'가 됐음.

ExploitBench 100%는 최근 일들 생각하면 딱 들어맞는 수치라 좀 웃김.

ARC-AGI-3 점프가 너무 커서 벤치마크를 공략한 건 아닌지 먼저 의심됨. 점수 계산도 AI 이동 횟수와 인간 중앙값 비율을 제곱하는 비선형 방식이라 불연속적인 상승은 나올 수 있다더라.

그래도 자체 하니스를 썼으니 다른 모델 점수와 바로 비교하면 안 됨. 같은 설정에서 GPT-5.6 Sol도 38.3%까지 나왔다고 함.

AA Intelligence Index가 61이라 의외로 낮음. Opus 5 High와 Fable 5 Max가 같은 값이고 Gemini 3.8 Flash가 59인 지표라, 내가 궁금한 능력을 제대로 재는지 모르겠음.

공개 전부터 링크를 한참 봤는데 글이 다시 404가 되고 HN 글도 플래그됐음. 다른 매체도 보도 중이니 오늘 새 GPT가 나오는 건 맞아 보이는데 발표를 제대로 못 올리는 듯.

'제한된 조직'부터 푸는 방식이 이제 표준인 듯해서 김샘. 연구자인데도 덜 제한된 모델 신청이 이유 없이 거절되고, 기존 모델은 논문에서 epidemiology라는 단어만 봐도 작업을 거부함.