Minecraft 재현 같은 '데모 벤치마크'는 출시 전 최적화돼 모델 능력을 재지 못한다는 주장

공개 벤치마크가 허술한 건 맞지만, 사진으로 찍은 실제 건물을 GPT 6 Astra에게 Blender로 만들라고 했더니 30분 만에 꽤 잘 만들더라. 문제를 매번 조금씩 바꾸면 비교가 어려워진다는 난점은 있어도, 특정 예제만 외운 결과 같지는 않음.

내 주변 포트폴리오 기업은 각자 필요한 걸 아니까 자체 평가셋을 돌림. 지난 18개월간 기반 모델 성능은 대체로 수렴했고, 지금은 하니스 계층에서 가치가 많이 갈린다고 봄. 대외 벤치마크는 원래 콘텐츠와 제품 마케팅 수단이었고 내부 평가는 비공개였음.

'성능이 수렴했다'는 말은 동의 못 함. 2025년 3월엔 Sonnet 3.7, GPT o4, Gemini 2.5 Pro가 주력이었고 GPT-5는 그해 8월에 나왔음. 모델이 정체됐다는 얘기는 계속 빗나갔음.

글은 Minecraft를 다른 게임이나 맞춤 게임으로 바꾸면 바로 망가지는지 증명하지 못함. 내 피드에는 Astra가 Diablo나 임의 아이디어를 단발 프롬프트로 애니메이션까지 꽤 완성도 높게 만든 사례가 계속 보임.

그런 결과는 선택 편향일 수 있음. 임의 게임을 만들려다 실패하고 공유조차 안 한 사람이 몇 명인지는 알 수 없잖아.

Astra를 하루 반 써봤는데 컴퓨터 사용과 3D 추론은 인상적이었음. 코딩은 5.6 Sol과 비슷한 비율로 비슷하게 실패하더라. SWE 벤치마크 점수가 왜 그렇게 높은지는 모르겠고, 체감은 그냥 평범했음.

온라인에서는 Astra가 예쁜 3D 결과물을 만들지만, 옛 RuneScape 에셋과 상세 지침을 주고 그럴듯한 새 에셋을 만들라 했더니 처참하게 실패했음. 현재 최상위 모델은 복제와 변환을 창의성이나 학습으로 과대해석하는 면이 아직 있는 듯함.

Blender MCP를 써서 저폴리, 버텍스 컬러 에셋으로 명시해 봤는지 궁금함.

인기 소프트웨어를 한 번에 복제하는 건 암기가 지배할 수 있어서 좋은 시험이 아님. 펠리컨 시험은 정답 자체가 공개된 건 아니고, 모델마다 2D 레이아웃이나 벡터 그래픽에 맞춘 학습 조합도 다름. 이런 평가는 일반화, 암기, 학습 편향을 분리하지 못한다는 점에서 부족함.