버그는 환자로, 코딩 에이전트는 의료진으로 다룬 5개월 실험
- Cockroach Labs가 병원 은유 기반 코딩 에이전트 파이프라인을 5개월간 운영함. 트리아지 간호사, 펠로우, 리뷰 어텐딩, 디스차지 간호사 등 역할을 나눠 리뷰와 계획 수립을 강제함
- 5개월 동안 100만 줄 이상의 코드를 처리했고 되돌리기(revert)는 7건에 그침
- 초기 자동 병합 모드에서 사람이 검증할 수 없는 속도로 코드가 쌓여서 인간 승인 모드로 전환함
- 형제 이슈끼리 작업을 떠넘기다 누락되는 문제가 생겨 연기 범위 장부(deferred scope ledger)를 도입하고 연기 사유와 처리 시점을 기록하게 함
Hacker News opinions
작성자 댓글인데 처음엔 자동 병합 모드로 돌렸다가 사람이 검토할 수 없는 속도라 승인 모드로 바꿨음. DAG로 쪼갰더니 형제 이슈끼리 떠넘긴 작업이 그냥 사라지는 문제가 있었고 그래서 연기 장부를 만들었다고 함
OpenAI symphony 프롬프트랑 하는 일이 거의 같은데 역할이나 병원 은유 없이도 되는 거 아님? 작업 흐름에서 뭐가 실제로 효과 있는지 ablation 해봤는지 궁금함
GitHub Actions가 요즘 자주 불안한 게 이런 공장 돌리는 팀 때문인지 궁금함. 그래도 MS 규모면 차이 없을 것 같고 그냥 인프라 관리 문제 아닐까 싶음
직접 써봤는데 품질 게이트를 계속 추가하다 보니 개발 속도가 오히려 느려지더라. 열은 많이 나는데 가치는 별로 없음
은유로 역할 관계를 압축하는 게 정보이론 관점에서 꽤 효율적이라고 봄. 근데 대기실 개념을 사용자가 헷갈려 했다는 말 보니 직관적이진 않은 듯함
장기 유지보수 얘기가 안 보여서 agent agent agent만 보이는 느낌임. 작성자도 아직 데이터 없고 몇 년은 봐야 안다고 하더라
롤플레이로 코드 품질이 좋아진다는 건 좀 과장 같음. 이런 식으로 만든 DB나 파일시스템은 쓰고 싶지 않음