CodeRabbit 평가에서 GPT-6 Astra, 코드리뷰 버그 탐지율 Sol 대비 4%·교차 파일 20% 높아

OpenAI와 Anthropic 모두 이전 세대보다 조금 나아진 모델을 내놓고 가격은 대략 2배로 올린 듯함. 흥미로운 전략임.

Astra는 Sol과 같은 작업에서 더 비싸지만, Fable까지 같은 경우는 아님.

스케일링 법칙대로 더 큰 모델은 더 똑똑하고 더 비쌀 수밖에 없다고 봄. 모델 크기를 공개하지 않는 건 아쉬움.

토큰 효율까지 따지면 Astra와 Sol 비용은 비슷하다고 봄.

CodeRabbit 도구 안에서 한 비교라 결과의 일반성은 거의 없다고 봄. 직접 코드 감사도 해봤지만 이 도구는 CI 코드리뷰에 노이즈와 마찰만 늘려서 쓸 가치가 없었음.

AI 코드리뷰는 중요한 문제를 놓치면서 제안만 너무 많이 냄. AI가 코드를 생성하는데 또 AI로 리뷰하는 구조도 잘 납득이 안 감.

모델을 얹고 코드리뷰라고 부르면 안 됨. 원래 작업의 테스트 결과와 명세를 파이프라인에 넣어야 하며, 그게 없다면 리뷰 도구도 별 도움이 안 됨.

제안이 쌓이면 결국 무시하게 됨. 요즘 Fable과 Sol이 만든 코드는 거의 완성돼 보이지만, 남는 문제는 논리 오류임.

같은 작업에서 Astra는 Sol보다 확실히 느렸음. 더 많은 문맥을 읽으려는 것 같음.

반대로 나는 둘 다 중간 추론으로 써봤는데 Astra가 단순 에이전트 코딩에서는 Sol보다 빨랐음. 복잡한 작업에서는 Sol이 놓친 걸 Astra가 찾아서, 싸도 결과가 나쁜 경우가 있더라.

Fable이 Sol급 모델이라면 이 시험에서 Astra는 Mythos와 비교해야 하는 것 아닌가.

15k LOC짜리 백엔드 코드를 프롬프트로 뽑아 던지는 건 버려야 함. 설계 문서부터 쓰고, 200~300 LOC PR 단위로 쪼개서 리뷰해야 코드 안정성과 시스템 지식을 지킬 수 있음.

AI에게 로직을 확인시키되 시스템 설계는 사람이 봄. AI 출력은 중복 코드와 유지보수 어려운 구성이 많아서, 적어도 의미 있는 단위별 1천~2천 LOC로 나누게 함.

생성 코드를 전부 읽기보다 기능을 검증하는 좋은 테스트 스위트에 투자하는 편임. AI에게 적대적 관점의 리뷰와 수정도 시키되, 기존 테스트가 계속 통과하는지 봄.

우리는 격리되고 포크 가능한 환경에서 실제 코드와 인프라를 E2E에 가깝게 테스트함. 코드 대신 테스트 변경을 리뷰하고, UI에서 테스트 차이와 브라우저 재생을 확인함.

대형 성숙 코드베이스라면 LLM 출력도 사람이 예전만큼, 아니 더 꼼꼼히 봐야 함. 우리도 하루 PR이 6개에서 30개쯤으로 늘었고, AI 리뷰 뒤에 대부분 승인만 하는 흐름이 걱정됨.

내 장난감 벤치에서는 Astra가 Sol보다 약 30% 빨랐고 같은 결과 기준 비용도 비슷했음. 표시 가격이 Sol의 2.5배여도 토큰 효율이 이를 상쇄하더라.