마케팅 사이트 빌더 Ploy, Claude Opus에서 GPT-5.6 Sol로 이전해 2.2배 빠르고 27% 저렴해져
- AI 에이전트 스타트업 Ploy가 프로덕션 에이전트를 Claude Opus 4.8에서 GPT-5.6 Sol로 전면 이전, 빌드 완료 시간이 8분에서 3분42초로 2.2배 빨라지고 비용은 $3.06에서 $2.22로 27% 절감됨
- 방문 페이지 리디자인 벤치마크에서 시각 품질 점수도 0.936에서 0.970으로 오히려 소폭 상승, 출력 토큰은 33.0K에서 17.1K로 거의 절반으로 줄어듦
- 크로스모델 평가 도중 평가 하니스 자체가 기존 Opus 스타일(순차 호출)에 맞춰져 있었다는 사실을 발견, GPT-5.6은 병렬 툴 호출을 많이 써서 기존 툴콜 예산 한도를 초과해 오탐 실패가 발생했고 첫 실행 실패의 3분의 1이 모델이 아닌 하니스 문제였음
- 일부 데이터셋에 minScore 임계값이 누락돼 기본값 1.0이 적용된 탓에 GPT-5.6이 0.98점을 받고도 '실패' 판정을 받는 숨은 버그가 있었음
- GPT-5.6은 암묵적 프롬프트 캐싱(부분 프리픽스 매칭)을 제거해 캐시 동작 방식이 달라졌고, 디자인 결과물은 깔끔하지만 기존 디자인 시스템을 무시하고 획일적인 스타일로 수렴하는 경향이 관찰됨
Hacker News 의견들
나는 이런 엄격한 테스트는 안 해봤지만 그래도 Fable이 마케팅 사이트 만드는 데는 Opus보다 훨씬 나을 것 같은데. 덱 만드는 건 확실히 Fable이 압승이고
4.7은 지시 따르는 거에 좀 집착적으로 정확한 편이라 OP 주장이 그럴듯하게 들림
이 글 밀도 있고 실용적인 인사이트 많아서 읽기 편했음, 고마움
'모델을 사도록 만드는 숫자다' 같은 표현 진짜 이상함, LLM이 쓴 글 티가 확 남, 사람이 손질을 좀 했어야지
콜론이랑 짧은 문장으로 끊는 그 LLM 특유의 문체 진짜 짜증남, 내용은 좋은데 읽기 힘들어
2026년인데 아직도 이게 LLM이 쓴 글인지 탐정놀이 해야 하나, 그냥 내용에 집중하자
Stratechery 안 읽어봤나 보네, 거긴 문체가 훨씬 더 심함
llmish라는 문체 정말 별로임, 브라우저 확장 만들어서 자동으로 고쳐주는 거 하나 만들고 싶을 정도
Pangram 돌리면 100% AI라고 나올 정도로 티가 나, 그냥 직접 써라 좀
이런 글에 나오는 통계 자체도 진짜인지 의심스러워짐
AI 회사가 이런 글을 쓰면서 이 정도로 LLM체를 못 알아채는 거면 모델을 제대로 안 써봤다는 뜻이거나 독자를 존중 안 한다는 뜻임, 어느 쪽이든 안 좋음
마케팅용이면 결국 전환율이 중요한데 실제 유저가 뭘 더 선호하는지가 궁금함, 나는 예시 본 걸로는 Opus가 다 더 나아 보였음
Sol은 비싸서 다 쓰기엔 부담스러움, 실제로 툴 호출 많은 워크로드엔 Luna가 놀랄 만큼 빠르고 쓸만함, Sol 한 번 돌릴 비용으로 Luna 5번 돌릴 수 있음
서브에이전트는 컨텍스트가 격리돼서 매번 자기가 조사부터 다시 해야 하는 문제가 있어서, 그것 때문에 캐시 안 되는 토큰이 더 늘어날 수도 있음, 상황 봐야 함
우리도 5.4-nano랑 mini로 돌리던 잡다한 워크플로우들을 5.6으로 옮겼는데 딱 이 글에서 말하는 정도의 개선을 봤음, 분류 작업도 좋아짐, 많은 회사한텐 모델 업그레이드가 그냥 한 줄 바꾸는 일임
비용 절감은 인상적인데 프로덕션 에이전트는 일관성이 더 중요함, 프롬프트나 툴 호출 워크플로우를 얼마나 손댔는지가 궁금함