FurtherAI, 엔지니어 1인당 코드 변경 5배·AI 리뷰 99% 기록한 AI 네이티브 조직 9개월
- FurtherAI의 Sashank Gondala가 9개월간 AI 네이티브 엔지니어링 조직을 운영한 기록을 공개했는데, 1월 이후 엔지니어 1인당 하루 머지하는 코드 변경 수가 약 5배로 늘었고 되돌리기 비율은 0.5% 아래를 유지함
- 테스트를 포함한 변경 비중이 15%에서 91%로, 사람이 보기 전 AI 리뷰 비중이 60%에서 99%로 올랐고, CI는 같은 17분에 20배 많은 테스트를 돌림
- ClaudeTag가 버그 티켓의 60%를 중복 판별해 담당자에게 배정하고, 8월부터 만든 21개 Python 규칙과 자동 리뷰를 통과한 저위험 변경은 최대 3분의 1이 사람 없이 머지됨
- 코드 작성만 빨라지면서 계획과 리뷰가 걸리는 시간이 전체의 40%에서 70%로 커졌고, 고객 대상 변경은 6월부터 8월까지 엔지니어당 월 17~30건에 머물다 9월 45건, 10월 48건 전망임
- 대응으로 계획과 리뷰 권한을 엔지니어에게 넘기는 쪽을 택했고, 시니어리티를 에이전트와 함께 만들며 틀린 걸 알아채는 주니어, 스스로 계획하고 리뷰하는 시니어, 모호한 문제의 트레이드오프와 결과 지표를 소유하는 스태프로 다시 정의함
Hacker News 의견들
엔지니어당 얼마나 많이 배포하나를 지표로 잡는 건 좀 아닌 것 같음. 그걸 벤치마크로 걸면 다들 과설계하고 부풀린 코드를 양산하도록 유도되는 건데.
맞음. 애초에 그 슬롭에 대한 실제 수요도 없음. 코드가 비싸다는 게 원래 기능이었다고 봄. 자원이 없어서 묻힌 좋은 아이디어도 있었겠지만 지금은 형편없는 것들이 넘쳐남.
그냥 광고문 읽은 기분이었음. 엔지니어링 원칙이 토대고 AI 도구가 거기 맞춰 들어가는 거지, 이 글처럼 반대가 아님. 링크드인 냄새도 너무 나고.
솔직히 이 글은 AI 네이티브라기보다 기존 엔지니어링에 AI를 더 얹은 것처럼 보임. 진짜 AI 네이티브라면 사람이 코드를 어떻게 리뷰할지 같은 질문 자체가 무의미해져야 함.
의미론 싸움 같기도 한데, 대부분 팀은 평범한 조직에서 땅이 흔들리는 걸 느끼고 있음. 뒤처질까 봐 다들 어떻게든 발을 담그는 거고.
버그를 더 많이 배포하면 엔지니어당 버그 수정도 더 늘어나는 거임.
배포가 너무 빨라지면 그 자체로 UX가 망가지지 않을까. 리로드할 때마다 페이지가 바뀌면? 결제 중간에 바뀌면 5초 전에 동의한 조건이 사라지는데.
제일 크게 달라진 건 예측 가능성인 듯. 오늘 끝날지 다음 달에 끝날지 아무도 모르고, 버그 없는 상태로 수렴하는지도 모름. 두 달 뒤에 갈아엎을 코드에는 좋고, 오래 유지하는 큰 코드베이스에는 약함.
모델 버전을 새로 넣을 때 핫 리로드인지 재시작인지 궁금함. 실행 중인 배치가 있으면 그건 어떻게 되는 거임?
3월부터 AI 우선으로 리뷰를 느슨하게 한 팀들이 벌써 6~8개월 됐으니 곧 1년 회고가 나올 거임. 품질이 어땠는지 궁금함.
한 회사가 AI 네이티브를 내세우면 그 회사는 엔지니어링에 관심이 있는 게 아니라 유행에 올라타려는 것임. 엔지니어링을 신경 쓰는 회사는 그냥 엔지니어링을 하고 떠들지 않음.
진짜 AI 네이티브는 기존 조직에서 나오기 어려움. 조직 관성이 너무 커서, 지하실에서 시작한 사람이 훨씬 가능성이 높음.