Momentic(YC W24), 프롬프트로 앱을 E2E 테스트하는 AI QA 에이전트 Mo 공개

토큰 사용료를 또 받는 SaaS라니. 요즘 구독 지옥이 스테로이드 맞은 느낌이라 이거 보면 바로 흥미가 꺾임. 프론티어 구독 두 개에 주말까지 20%씩 남았는데 Momentic에 못 쓰는 게 너무 아깝고, 항공 마일리지 다루는 기분임.

BYOA가 뭔 뜻임?

저 Jeff라고 공동창업자임. BYOA 지원할지 오픈소스로 하네스를 풀지 많이 고민했는데, 기성 모델로는 성능이 만족스러운 조합이 안 나왔음. 요소 그라운딩이나 시각 이해 같은 잡일을 대규모 데이터셋으로 튜닝한 커스텀 에이전트가 처리하게 만든 게 엔지니어링의 큰 부분이고, 순정 GPT 모델을 그냥 꽂으면 파레토 최적이 안 나옴. 차라리 codex한테 테스트 시키는 게 나음. OSS 모델이 따라잡으면 BYOK 지원할 수 있고, 방아쇠에 손은 올려둔 상태임.

하네스 자체가 구독 락인임. 토큰을 아무 앱에나 가져갈 수 있으면 그 회사 생태계에 남을 이유가 없음. 토큰과 구독이 이식 가능하고 대체 가능해야 한다는 건 나도 동의하는데, 그런 서비스는 claude나 codex 구독 하나 쓰는 것보다 훨씬 비쌀 거임.

그래서 해자가 뭔데?

해자는 프론티어 모델이 같은 기능을 통합하기까지 한 일주일 정도임. 이제 이런 프로젝트를 인재 영입용으로 사들이지도 않고 직접 만듦.

비슷한 걸 사이드 프로젝트로 만들어봤는데 이런 플랫폼은 필요 없었음.

Jeff임. 솔직히 SaaS에 해자가 있을지, 앞으로 있을지는 모르겠음. 다만 지금은 범용 모델이 이 작업을 잘 못함. 24시간 빌드 끝에 에이전트가 다 됐다고 할 때 그걸 믿고 싶은데, 아첨 성향이나 컨텍스트 열화 때문인지 코딩 에이전트는 자기 작업을 검증하는 걸 여전히 어려워함. 인프라 셋업도 귀찮고, 웹과 모바일, 곧 데스크톱까지 통합 인터페이스를 제공해 프로비저닝과 동시성, 보안을 사용자가 신경 쓰지 않게 하려 했음.

UAT랑 뭐가 다른데? UAT에 장갑 끼고 레드팀하는 거랑 API 프로퍼티 테스팅 합친 것 같은데.

Henry임, Mo 만드는 엔지니어 중 하나임. 테스트 접근 자체는 UAT랑 비슷한데 완전 자동화라는 게 다름. 다음 릴리스까지 기다려서 오래 걸리는 수동 버그배시를 돌리는 대신 PR 아무거나에 바로 피드백을 받을 수 있고 비용도 훨씬 쌈.

이 분야 다른 회사들로 POC 돌려본 입장에서 궁금한 게 있음. 락인은 어느 정도인지, Playwright 같은 테스트를 대신 생성·유지하는 성숙한 QA 플랫폼 자리는 없는 건지, Momentic이 망하거나 호환 안 되는 변경을 해도 옮겨갈 수 있는지. 테스트가 얼마나 결정적인지, 타깃 사용자가 PM인지 개발자인지 SDET인지도 궁금함. 그리고 Codex가 정밀도 86%로 Mo 84%보다 정확하고 버그당 비용도 싸다는 건 Codex가 낫다는 얘기 아님?

Jeff임. Mo는 자연어로 테스트 케이스를 만들지만 원하면 Playwright로 써서 리포지토리에서 유지하게 할 수도 있음. 회귀 테스트 제품도 있는데 거기선 자연어 테스트가 리포지토리에 들어가고 이걸 브라우저 액션으로 옮기는 건 우리 CLI뿐이라 독점 포맷이라 락인이 좀 있음. 그래도 자연어라 이식성은 괜찮음. Mo는 탐색적 테스트라 본질적으로 비결정적이고, 회귀 제품에는 캐싱을 많이 넣었음. 단일 CSS 셀렉터 수준이 아니라 제대로 된 캐싱이라 CI가 몇 시간씩 멈추지 않음.

Opus 최신 모델을 내 구독으로 커스텀 Playwright 하네스에 직접 돌리는 것보다 나은 이유가 뭐임?

Gabe임, Momentic 엔지니어임. Mo의 강점은 총 발견 버그 수임. claude code랑 비교하면 60분 세션 기준 버그를 약 5배 많이 찾으면서 버그당 비용은 35% 낮음.

지난 3년간 커스텀 에이전트 하네스가 엄청 나왔지만 다음 세대 프론티어 모델이 일반 하네스에서 그 이상을 해버리면서 다 대체됐음. Opus 6.0이 5개월 뒤에 Mo의 우위를 삼키고 API 값 대신 Claude 구독으로 더 싸게 하면 뭘 팔 건데?

Momentic 공동창업자임. 그 시각에 반대하고 싶음. 프론티어 랩들과 많이 일하는데 올해는 랩들 쪽에서도 커스텀 하네스가 중요하다는 걸 깨닫는 분위기가 있었음. Devin도 프론티어 모델 래퍼라고 볼 수 있지만 더 좋게 느껴지고 인기가 많음. 코드 리뷰 쪽도 마찬가지고, 모델 자체보다 아키텍처와 지속되는 컨텍스트, 데이터가 우위를 만듦. opus 6는 Mo의 우위를 깎기보다 기능을 더 열어줄 거라고 봄.

버그당 Mo가 $2.67이고 Codex가 $0.80이면 Mo가 더 비싼 거 아님? 글을 읽고도 혼란스러움. Mo가 더 정확한 것도 아니고 86% 대 84%인데.

본문에 나와 있잖음. 더 비싸지만 버그를 더 많이 찾는다는 뜻임.

그럼 결론은 Codex가 더 낫고 더 싸다는 거 아닌가?