Opus 5.5로 JS 프레임워크 6종 벤치마크: Astro가 최단 시간, Angular는 앱 생성 두 번 실패
- Nolan Lawson이 Opus 5.5 에이전트에게 PokéAPI 기반 포켓몬 앱을 프레임워크별로 5회씩 만들게 해 비용, 토큰, 코드 줄 수, Lighthouse 성능과 접근성을 측정한 벤치마크를 공개함
- 비용 중간값은 Hono+htmx가 가장 낮은 $2.67, 이어서 Astro $2.76, Nuxt $2.82, Vanilla $2.98, Next.js $3.14, Qwik $3.27 순으로 나타남
- Angular는 작동하는 앱 생성에 두 번 실패해 다른 프레임워크의 5회가 아닌 3회만 측정했고, Astro는 댓글 기준 최단 시간과 두 번째로 낮은 비용, 클라이언트 JS 0을 기록함
- 각 도구의 공식 MCP나 스킬을 쓰게 하고 Lighthouse 테스트 사실은 에이전트에 숨겼으며, 스펙 준수 테스트는 shadow DOM을 쓰는 웹 컴포넌트를 고려해 DOM이 아니라 접근성 트리 기준으로 작성함
- 저자는 LLM이 엉뚱한 방향으로 토큰을 낭비하고 Lighthouse LCP가 실행마다 다른 이미지를 고르는 등 측정값이 확률적이라고 밝히고, 포켓몬 앱이 상호작용이 적은 콘텐츠 사이트 한 종류만 대표한다고 한계를 인정함
Hacker News opinions
글쓴이가 프론트엔드가 감으로 결정된다는 건 맞는데, 그 정도면 브라우저 UI는 아예 소프트웨어 개발로 안 쳐도 될 듯. 깨진 브라우저 기술이 너무 많음.
Astro가 시간 제일 짧고 비용 2위에 클라이언트 JS 0이더라. 다음 프로젝트는 이걸로 간다.
Astro 써보면 진짜 쾌적함. 무거운 게 필요할 때 빠져나갈 구멍도 잘 설계돼 있음.
근데 Astro가 잘 나온 건 벤치마크 앱이 콘텐츠 위주라서임. 실시간 비동기 처리가 많은 앱이면 순위가 뒤집힐 수도 있다고 봄.
클라이언트 JS 0이 무조건 좋은 건 아님. SvelteKit처럼 점진적 향상 쓰면 JS 되는 환경에서 체감이 더 빠름.
Angular는 진짜 별로였음. 이제 에이전트한테도 깨진다는 데이터가 나왔네.
포켓몬 앱 같은 작은 걸로 일반화하지 마라. 작은 앱 안 만들 거면 Angular 쓰지 마라, 이런 단정이 제일 싫음. 폼 검증 규칙 복잡한 업무용 앱이었으면 결과가 달라졌을 것.
예전에 작은 에이전시에서 일할 때 Angular는 프로젝트마다 구조가 비슷해서 좋았음. 강제되는 규칙성이 프로젝트 전환할 때 인지 부담을 줄여줌.
그냥 평범한 HTML 쓰자. HN만 봐도 JS 없이 충분히 되고, 최소한 JS 꺼졌을 때 우아하게 degrade는 해야지.
JS 끈 사용자가 몇 퍼센트인데? 'enable JavaScript' 뜨는 사이트는 그냥 바로 나감.
벤치마크가 너무 단순해서 의미 없다고 봄. 프레임워크 선택은 속도만이 아니라 도메인 지식, 장기 유지보수성, 보안 이력까지 보는데 몇 달러 아끼자고 그걸 포기하나.
Svelte가 더 잘했으면 좋았을 텐데, LLM이 답할 때마다 마이그레이션 가이드를 읽어서 그런 듯.
jQuery는 어디 갔냐. IE 죽고 크로스 브라우저 차이도 해결돼서 이제는 그냥 바닐라 JS가 낫더라.
AI 코딩 시대에 프레임워크는 필요 없는 보일러플레이트임. 서버사이드 렌더링에 JS 조금 얹으면 같은 결과가 훨씬 적은 패키지로 나옴.
동의 안 함. 그냥 바닐라 JS로 가면 에이전트가 addEventListener, querySelectorAll을 수백 번 쓰면서 조금씩 어긋남. 재사용 가능한 프레임워크가 유지보수에 중요하다는 건 AI 시대에도 그대로임.
글에도 나오지만 순수 HTML/JS 페이지가 더 나쁘게 나왔음. 어느 정도 복잡한 사이트라면 프레임워크가 낫다는 게 데이터로 나온 셈임. 추상화가 에이전트의 컨텍스트 부담도 줄여줌.