오픈AI, GPT-6.1 Terra 공개...댓글서는 벤치마크 선별 의혹과 모델 라인업 혼란 지적
Summarized from the Hacker News discussion because the article couldn't be read
- 댓글에 따르면 Terra는 GPT-6-Astra와 비슷한 성능을 훨씬 낮은 비용에 제공하며 6.1-Sol과도 대등한 수준임
- 다만 여러 댓글은 오픈AI가 Terra에 유리한 벤치마크만 골라 게재했을 가능성을 제기하며 전체 벤치마크 공개를 기다려야 한다고 지적함
- Terminal Bench 4.0에서는 Terra가 xhigh 모드에서도 6.1 Sol에 못 미치면서 비용은 더 드는 것으로 나타나 이 지표만 보면 Terra를 고를 이유가 불분명함
- 가격은 Sol 6.1의 약 절반 수준이며, 댓글에서는 최근 구독 플랜 사용량 축소와 맞물려 '비용 대비 작업량' 지표를 새로 내세운 것 아니냐는 해석도 나옴
- Luna, Terra, Sol, Astra로 이어지는 행성 이름 체계에 6.1 버전이 겹치면서 모델 포지셔닝이 헷갈린다는 불만이 여러 갈래로 제기됨
Hacker News opinions
차트만 믿으면 Astra급을 훨씬 싼값에 쓰는 셈이고 Sol이랑도 거의 비슷한데, 솔직히 좀 놀랍다
아니지, 요즘 모델 발표는 죄다 자기한테 유리한 벤치만 골라서 보여주잖아. 전체 벤치마크 나올 때까지 기다려봐야 함
첫 차트는 좋아 보이는데 Terminal Bench 4.0에서는 xhigh로 돌려도 Sol에 못 미치고 비용은 더 나온다더라. 그거 보면 Terra 고를 이유가 없음
Opus 5.5만 한 게 없어서 사람들이 계속 아쉬워하는데 오픈AI는 이런 걸 내놨네. 전략이 신기하네
글에 있는 벤치 그대로면 Opus 5.5랑 비슷한 성능을 4분의 1 가격에 쓰는 거임
난 Opus 5.5가 싫다. 프로젝트마다 과하게 개입하고 오버엔지니어링을 남발함
기업 입장에서 API 단가로는 매력적임. Terminal Bench 4.0 점수가 다른 지표보다 대표성이 있다면 얘기가 달라지겠지만
오픈AI는 아직 Opus 5.5에 맞설 게 없음. 'Bel'이라고 더 낫다는 모델이 올해 안에 나온다는 얘기가 있었는데, Anthropic이 오픈AI를 한 방 먹였다는 소문도 있음
벤치마크는 이미 포화 상태고 Terra 곡선은 축에 딱 붙어 있음
오픈AI가 작업당 비용에 집중하는 건 반갑다. 다음엔 프런티어 지능으로 가줬으면, Astra 6.1 나오면 좋겠음
작업당 비용 타령은 최근 플랜 사용량을 절반으로 줄여놓고 그걸 감추려는 말장난임. Anthropic 플랜이 5배쯤 더 나은 상황을 새 지표로 덮으려는 거지
Terminal Bench 4.0 결과는 좀 심각함. Terra XHigh가 Sol Low보다 비싸면서 성능은 더 나쁘다는 건데, 웹 채팅에 과최적화된 Sol 체크포인트를 Codex 구독자 달래려고 내놓은 느낌임
가격이 절반이었으면 관심 가졌을 텐데 1/5/0.05라는 단가를 보면 Astra 6.1을 못 내놓아서 급하게 낸 것 같음
Sol 6.1에서도 75% 인하를 했으니 이번에도 궤적은 비슷함. Terra는 Sol의 절반 가격이지만 Luna와 Sol 사이에 낀 애매한 위치라는 건 여전함
소프트웨어 개발자가 6.1 Terra의 타깃은 아닌 것 같음. 컴퓨터 작업이나 자동화, 기술 문서 쪽이 주 용도임
Luna는 소형, Terra는 중형, Sol은 대형으로 익숙해졌는데 Astra가 끼어들고 Sol-6.1이 Astra를 앞서면서 이름 체계가 완전히 꼬였음. 마이크로소프트 브랜딩 담당이 온 건가 싶을 정도
Terra/Luna 하면 Do Kwon 사건이 먼저 떠오르는 건 나뿐인가
이름은 결국 크기고 가격이라는 뜻임. 최신 소형 모델이 예전 대형 모델을 이기는 게 헷갈리는 이유일 뿐
모델이 네 개에 추론 강도까지 붙으니 뭘 골라야 할지 모르겠음. 종류가 너무 많아
같은 릴리스 버전 안에서 비교하면 가격과 성능 순서는 일관됨. Sol 6.1이 Astra급인 것도 버전 차이를 감안하면 당연한 거고, 뭐가 불만인지 모르겠음
모델 학습은 정밀 과학이 아님. 소형화하거나 어텐션 구조를 바꾸면 성능이 어떻게 나올지 미리 모름. 돈 들여 학습했으니 어떤 작업에서든 최적인 모델은 공개하는 게 낫지