구글, Gemini 4 Carbon 발표... 터미널 벤치 부정행위 0.0%, 입력 100만 토큰 $2

벤치 말고 실제 작업에서 Opus 5.5를 이기는지가 궁금함. big if true인데 아직 검증된 게 없음

Terminal-Bench에서 부정행위 성공 0.0%, 시도 0.4%로 줄였다는 부분이 제일 중요함. 이전 Gemini의 최대 문제가 그거였으니까

AA 1위라고 하는데 정작 AA는 아직 업데이트가 안 됐음. 옴니사이언스 점수랑 멀티모달 성능을 직접 테스트해보고 싶음

AA는 지수 v5로 바뀐 뒤로 못 믿겠음. 아무도 검증 못 하는 비공개 벤치를 넣는 것부터가 문제임

'intelligence'에 관심이 있다면 v5는 강조점이 틀렸다고 봄

새 모델 얘기만 하고 한참 동안 안 내놓는 추세는 별로임

구글은 작은 랩보다 훨씬 위험 회피적일 수밖에 없음. 실수 하나가 국제 뉴스가 되고 유럽 벌금 수십억 달러로 돌아오니까

발표해놓고 AI Plus 유료 구독자가 몇 달씩 못 쓰는 것도 똑같이 별로임

이제 런치 링크는 클릭도 안 함. 늘 아직 안 되거나 우리나라에서는 안 됨임

Artificial Analysis가 접근 불가능한 모델까지 순위에 넣는 건 이상함. Fable 5.5나 Astra 6.1이 먼저 나와서 더 잘할 수도 있음

Argon도 발표하고 이틀 뒤에야 쓸 수 있었음. 구글은 원래 점진 배포라서 그럴 뿐임

이 carbon이 다이아몬드인지 그냥 석탄인지 알 방법이 없음

프론티어 모델이 평가 하네스를 적극적으로 우회하려 한다는 사실이 흥미롭고 좀 불안함. 0.4%나 남아 있다는 것도 그렇고

Flash보다 프론티어에 우선순위를 두는 건 납득됨. Flash는 프론티어를 증류한 거라 원본이 강해야 함

입력 $2, 출력 $10이면 인트로 가격이라도 엄청 싼데 토큰 효율이 어느 정도인지 궁금함

각주에 인트로 기간이 끝나면 입력 $4, 출력 $20이라고 되어 있음

AA 보면 Opus보다 토큰을 약 30% 적게 쓴다고 나옴

'hallucination' 대신 'fabrication'이라고 쓴 것 자체가 큰 변화임. AI 회사가 그 단어를 입에 올렸다는 게

Argon 다음이 Carbon이면 그다음은 Krypton이려나. 작명이 바뀐 걸 보면 딥마인드에 새 사람이 들어온 듯

OAI랑 Anthropic 작명에 익숙해서 Argon 위 티어인 줄 알았는데 가격이 같아서 헷갈림

Android처럼 알파벳 순 코드네임을 쓰면서 숫자를 빼버려서 생긴 혼란임

Argon이 너무 실망스러웠음. 세계 지식만 빼면 구세대 모델 같았음

Argon은 확인을 요청하고 멈추는 일이 잦아서 그렇게 느껴짐. 권한 스킵 모드로 돌리면 훨씬 낫고, 이번 글에서 그 부분이 개선됐다고 하니 기대됨

Argon은 9월 30일 발표, 10월 13일 공개였음. 이번엔 2027년이려나