에이전트 출력을 그대로 받아들이는 '인지적 항복' 경고한 에세이, HN에서 코드 리뷰 붕괴 논쟁으로 번져

자동 제어가 들어온 건 기계가 사람보다 잘하기 때문인데, 정작 그게 잘 돌아가는지 감시하라고 사람을 붙여놨음. 표준 케이스는 기계가 낫지만 이상한 케이스는 아직 사람이 빨간 버튼을 눌러야 함.

경험은 다르게 말해줌. 사람이 99% 확률로 OK만 눌러야 하는 상황이면 100% 다 누르고, 나머지 이상한 케이스는 그냥 놓침.

체르노빌 다시 보는 중인데 딱 이 얘기더라. 관료제가 얼마나 일을 망칠 수 있는지 과소평가하면 안 됨.

매일 생성된 수천 줄을 보고 '응 좋아 보여' 하는 리뷰어가 이제 흔해졌음. 그렇게 프로젝트가 망가지고 코드베이스에 장황하고 말이 안 되는 코드가 쌓여서 AI 없이는 더 개발을 못 하는 상태가 됨. AI 안 쓰는 기여자들은 다 떠나고 있어. 뒤처지는 게 아니라 그냥 미친 군중에서 빠지는 거임.

사람 판단이 매번 맞았다 쳐도 병합 쪽으로 편향돼 있음. 이해도를 1% 떨어뜨리는 병합도 통과되고, 5% 올려주는 변경이 아니면 안 막음. 아무도 실수를 안 했는데 100번 병합하면 이해도는 100% 날아감.

모델 정확도는 확실히 올라갔음. 3월엔 이벤트 루프를 직접 짜야 했고 1월엔 통계 출력을 손으로 검증했는데 진짜 오류가 있었음. 8월 이후로는 통계 오류가 없어짐. 코드 품질은 별로여도 시키는 건 해냄. 지시 따르기는 여전히 문제고 스크롤되는 diff에서 이상한 걸 가끔 발견함.

개발자들이 화이트보드 앞에 모여서 같이 문제를 생각하는 걸 가치 있게 안 여긴다면 코드 리뷰도 그만두자고 솔직히 말해야지. 관리가 빨리빨리 LLM 쓰라고 하면 사람은 이해를 포기하고 월급이나 받으려고 남는 거임.

이건 코피움임. 모델이 자기 요구 수준에 도달하면 6개월 뒤엔 저자도 그냥 다 보낼 거라고 봄. 카파시도 프라임이지언도 같은 궤적을 탔음.

그건 네 직업의 좁은 사례일 뿐임. 소프트웨어 밖에는 표준과 라이선스, 책임의 세계가 있음. ML 시스템을 믿은 변호사랑 판사들은 지금 땅을 치고 있음.

코드를 이해 못 하면 그게 충분히 좋은지 어떻게 앎? 모델한테 물어보면 되겠네. '잘했어요, 당신은 비전 있는 소프트웨어 엔지니어입니다' 이러겠지.

코드를 안 보고 그냥 보내도 된다고 생각함. 다만 의식적이고 의도적으로 해야 하고, 나도 자주 그렇게 함. 문제는 그게 명시적인 선택이 아닐 때임.

PR 올린 지 1분 만에 승인받은 적 있음. 코드 일부에 대해 물어보면 돌아오는 답이 'Claude가 이렇게 했다'거나 장황한 AI 생성 답변이었음.

Capability Trap 논문의 루프 다이어그램이 요즘 자주 떠오름. 뭘 하든 자기 능력에 다시 투자하는 루프를 유지해야 함.

좋은 글인데 하나 걸리는 게 있음. 이 모든 방식이 LLM이 만든 걸 소비하는 쪽이라는 거임. 나는 시스템을 직접 만들면서 배웠음. TikTok이나 쇼츠처럼 다들 보기만 하는 건가 싶기도 하고, 어쩌면 추상화가 os/gui/event loop에서 llm으로 바뀐 것뿐일 수도 있음.

목수나 음악 프로듀서한테 내일 마법 상자가 생겨서 원하는 걸 말하면 테이블이나 곡이 나온다고 해보셈. 다들 그걸 순순히 받아들일까? 소프트웨어 엔지니어인 우리만 프롬프트에 기술을 내주려고 함.

음악은 이미 Suno가 있음. 목수도 아마존에서 원하는 가구를 몇 시간 만에 받음. 맞춤 제작과 개성을 포기하는 대신 편의와 가격을 택하는 거고, 대부분은 그쪽을 고름.

HN 분위기랑 달리 소프트웨어 엔지니어들이 LLM을 일률적으로 받아들이는 게 아님. 업계에서 여전히 논쟁적임. 반면 관리는 완전히 믿고 있어서, 많은 엔지니어가 열의가 아니라 강제로 쓰고 있음.

변호사랑 판사들은 정확히 그 마법 상자를 받아들였고, 환각 사례 목록을 보면 날짜가 갈수록 늘고 있음.