Netlify, 같은 커피숍 프롬프트를 11개 AI 모델에 실행해 비용과 결과물 비교

프롬프트가 저게 전부라면 결과물이 너무 닮아서 우울함. Opus 5 쪽 세부는 괜찮지만 전체적으로 AI가 만든 디자인 티가 너무 남.

기술적으로는 모델들이 비슷한 방식으로 답하는 게 오히려 자연스러울 수도 있음. 창의적인 차이를 원하면 프롬프트에 몇 단어만 더 보태면 된다고 봄.

서로 다른 GPT, Llama, Phi, Claude로 단편을 시험했을 때도 모델들이 같은 틈새 주제를 고르곤 했음. 겉으로 다른 모델인데 출력이 닮는 건 늘 흥미로움.

커피숍이 웹사이트를 꼭 가질 이유가 있나 싶음. 영업시간, 주소, 메뉴, 사진 정도면 더 싸고 쉬운 방법이 있음.

Claude로 내 사이트를 재설계해 봤는데 괜찮아서 배포를 미뤘음. 그런데 여기 커피숍 결과와 사실상 같은 디자인이라서 Claude 결과는 버릴 생각임.

디자인 경험이 없어도 색상 같은 몇 가지 변수를 후속 프롬프트로 바꾸면 차별화할 수 있음. 디자인 잡지 이미지를 주고 일부 요소를 반영하라고 해도 스타일이 달라질 것 같음.

나는 GPT Sol과 Luna가 제일 좋아 보였고 예상 밖이었음. 글꼴 선택의 영향이 큰데 Opus는 쓸 만해도 기대 이하고 나머지는 보기 싫었음.

이런 비교에서 결과물뿐 아니라 실제 비용을 보여 주는 점이 좋음.

범용 벤치마크보다 실제 문제에 맞춘 임시 평가가 낫다고 봄. 나는 Frigate로 홈 카메라 영상을 LLM이 분류하게 하고, 몇 분 걸리는 라벨링 뒤 저비용 평가를 돌림. 최고급 모델을 판정자로 써서 가격 대비 성능 경계만 보면 됨.

임시 평가를 만드는 일이 자명하게 쉽다는 말에는 동의 못 함. 실제 에이전트 벤치마크는 모델, effort와 권한 같은 설정, 특정 SHA의 데이터셋, 실행 코드, 도구와 컨테이너 이미지를 고정해야 하고, 공급자가 모델을 바꾸는 잡음도 있음.

탐색적 비교로는 흥미롭지만 모델 벤치마크로 받아들이긴 조심스러움. 모델별 실행이 세 번뿐이면 무작위성에 결과가 크게 흔들림.

Terra xhigh와 Sol low 비교도 보고 싶음. Terra는 다른 결과보다 LLM 느낌이 덜했고, effort를 높이면 그 스타일을 유지한 채 더 깊은 디자인이 나올지 궁금함. 그래도 흔한 벤치마크 글보다 읽는 재미는 있었음.

로컬 모델로 스팸 필터 벤치마크를 오래 해 봤는데 성능 분산이 큼. 같은 프롬프트도 실행마다 달라져서 최소 5회는 돌려야 하며, 실행 횟수와 분산을 공개하지 않는 비교는 근거가 약함.

진지한 개발에서는 이렇게 두 문장으로 한 번에 만드는 평가가 별 의미 없다고 봄. 나는 구체적 기술 지시를 주고 프로젝트를 조각조각 만들기 때문에, 이건 웹사이트를 만들려는 비개발자용 평가에 가까움.

20년 넘게 웹 개발을 했는데 모델마다 생기고 변하는 디자인 취향은 재미있음. AI의 보라색 선호나 베이지 유행이 어떻게 나왔는지, 프레임워크와 웹 표준 구현에서 어떤 선택 성향이 있는지도 연구해 볼 만함.