개구리 SVG 벤치마크로 드러난 AI 모델별 과잉 해석과 결정성 차이, Opus 5가 최고 평가

합스부르크 턱이라는 프롬프트에 14개 모델 중 7개가 요청하지도 않은 왕족 이미지를 스스로 갖다 붙이더라. Mistral은 별도 호출인데도 byte 단위로 똑같은 SVG를 뱉었고 Gemini는 주석을 65줄이나 남기는데 Llama는 한마디도 안 남김. 모델이 얼마나 과잉 해석하는지, 얼마나 결정적으로 동작하는지가 실전에서 중요한 질문 같음.

다른 모델들은 실행마다 결과가 그렇게 달랐는데 Mistral만 완전히 똑같이 나온 게 좀 의외였음.

합스부르크 턱 모르는 사람들 위해 설명하면 하악전돌증이라는 유전 질환인데 합스부르크 왕가 근친혼 때문에 유명해진 거임. 씹고 말하는 데도 문제 생길 정도였다고 함.

이거 진짜 괜찮은 벤치마크다. 사람이 그린 거라고 착각할 수준은 하나도 없는데 그나마 Opus 5가 제일 근접함.

나도 재밌게 봤음. Opus 5가 그나마 통과에 가까웠고 다른 모델들은 개구리 얼굴은 괜찮게 그리는데 턱 부분은 얼굴이랑 안 어울리는 덩어리를 그냥 붙여놓은 수준이더라.

사이트가 트래픽 폭주로 죽기 직전임. 이런 반응 기대 못 했는데 고맙고, 개인적으로는 google/gemini-3.6-flash 버전이 제일 마음에 들었음.

SVG 그릴 때 모델이 실제로 코드를 추론해서 짜는 건지 아니면 GAN처럼 픽셀 평균을 찾는 건지 궁금함. 어떤 모델도 옆모습으로 그려서 턱을 부각시키지 않은 거 보면 추론이 꽤 제한적인 것 같고, 학습 데이터의 개구리 SVG가 대부분 정면이라 그런 듯.

Opus 5는 완전히 개구리 외모에 몰빵했고 gemini-3.6-flash 2번 3번 실행은 왕실 초상화 콘셉트에 제일 잘 반응함.

엄밀히 말하면 왕실 초상화로 해석한 건 프롬프트 오독 아닌가 싶은데, 예술적 재량으로 볼 수도 있겠다.

순위 매기면 Opus 5 > Kimi K3 > Grok 4.5 정도임. 벤치마크 자체는 꽤 괜찮은 듯.

gemini-3.6-flash 결과가 미친 듯이 웃긴데, 웃긴 거지 좋은 건 아님.

나는 이게 좀 이념적으로 느껴짐. LLM이 범용지능에 가까워진다는 전제하에 얼마나 못해도 다양한 일을 해내는지가 AGI 증거라고 보는 사람들이 있는데, 사실 전문 모델이 훨씬 싸고 잘함. 하나의 모델이 모든 걸 다 잘한다는 걸 증명하고 싶어하는 정치적 투자 같음.

벤더들이 '사고'나 '추론' 같은 단어를 갖다 붙이는데, 이런 챌린지들은 그게 마케팅 허풍이라는 걸 적나라하게 보여줌. 세상에 대한 모델 없이 아무렇게나 결과를 뱉는 거 보면 알 수 있음. 그렇다고 유용하지 않다는 건 아니고 QA 체계 없이 믿으면 안 된다는 뜻임.

SVG 렌더러가 도구로 없으면 눈 가리고 그림 그리라는 거나 마찬가지임. 잘 되면 신기하긴 한데 실용성은 거의 없다고 봄.

비밀 유지가 좋은 인터뷰 문제의 핵심인데 이렇게 HN 프론트페이지에 올려버리면 그 가치가 사라짐.