Claude Code 팀, 자동 리뷰 계층 도입 후 되돌림 비율 40% 넘게 감소
- Claude Code 저장소에서 6월부터 9월까지 머지된 PR이 두 배 넘게 늘었지만 되돌림 비율은 40% 넘게 줄어듦
- 리뷰가 PR을 올린 뒤 몰리는 마지막 관문이 아니라 작성하는 동안 계속 도는 방식으로 바뀌었고, Claude가 대부분의 변경을 사람이 보기 전에 한 번 검토하고 고침
- 목표는 대부분의 PR이 사람 승인 한 명 이하로 머지되는 것이고, 위험도 분류기가 사람 없음, 한 명, 두 명 중 승인 단계를 정함
- 사람 검토 시간은 되돌림과 장애율이 오르지 않는 조건에서만 줄였다고 봄. 두 지표가 오르면 시간을 줄인 게 아니라 옮긴 것으로 간주함
- Anthropic 모노레포의 일일 변경 건수는 5월 약 2,500건에서 9월 3만 건 이상으로 늘어남
Hacker News opinions
하루 3만 건 머지라는 숫자 자체가 별로 의미 없음. 줄 수나 커밋 수 세는 거랑 다를 게 없더라.
보안 리뷰 쪽은 좀 불안함. 자동 보안 리뷰 도구 README에 프롬프트 인젝션에 강하지 않다고 적혀 있던데, 치명적인 발견을 거짓 양성으로 닫으면 AppSec이 봐야 하는 거 아님?
90%라는 수치도 6개월 전엔 100%라는 얘기가 있었다더라. 글 분위기가 홍보 느낌이라 그대로 믿기는 어려움.
Pangram 돌려봤더니 몇몇 섹션은 100% AI 작성으로 나온다는 댓글도 있음.
나는 Codex를 셀프 호스티드 러너의 GH 액션에 붙여서 씀. DB랑 시드 파일까지 돌아가서 개발자 로컬이랑 거의 똑같음. 구독 쓰면 사실상 공짜인 셈임.
Claude 코드 리뷰 제품이 리뷰당 15달러에서 25달러라고 했던 건 비싸다는 반응이 많음. 근데 연봉 15만 달러 엔지니어가 30분 리뷰하면 시간 비용이 36달러쯤이라 계산하면 또 그렇게 비싼 건 아님.
UI가 자주 바뀌는 건 빠르게 반복해서 그런 거임. 6개월 사이에 많이 나아졌고, 안 쓰는 기능은 빼는 중이라 더 눈에 띄는 것 같음.
테스트 품질을 어떻게 유지하냐고 물으니 농담으로 '안 함'이라는 답이 달림.
근데 스크롤하거나 체인 오브 쏘트 보이기/숨기기 같은 기본 버그는 아직도 그대로임. 그런 건 리뷰 자동화보다 먼저 잡아야 하는 거 아닌가 싶음.