경찰이 AI로 '수상한 행동' 운전자를 세운다, 해커뉴스는 위법 여부부터 따진다

FBI 사람이 자기네 기관의 민권 침해스러운 얘기를 왜 저렇게 술술 했을까. 내 경험상 연방 요원들은 그렇지 않던데.

고백이 아니라 자랑임. '네 놈들 약점은 다 잡아놨다, 내 컴퓨터 좀 봐라' 이건 그냥 협박이고 흔한 수법이야.

경찰들은 이런 거 진짜 좋아함. 지역사회 돕고 싶으면 구급대원이나 교사가 되겠지. 권력을 쥐고 싶으면 경찰이나 시장이 되고. GPS 동기화 사이렌 달린 MRAP 굴리면서 중국산 드론 못 산다고 난리치는 게 그 증거임.

래리 엘리슨이 '모두가 계속 녹화되고 보고되니까 시민들이 알아서 착하게 행동할 것'이라고 했는데 현실은 정반대임. 규칙 잘 지키는 사람도 이 이야기 주인공처럼 그냥 조사 대상이 되니까.

규칙 지켜도 문제 피할 수 없으면 왜 지킴? 오히려 반사회적 행동 늘어나는 구조임.

원 출처는 ACLU의 AI 경찰 감시 보도임. 링크 걸어둠.

경찰관의 '지능'이 AI보다 나은 게 얼마나 되나. 근데 인간이 루프에 있으니까 판단이 주관적이 되는 거고, 그 주관성 덕에 도움받은 적도 많음.

중앙집중이 아니라는 게 차이임.

번호판 판독망을 dragnet이라고 부르던데, dragnet은 특정 의심 없이 대규모로 멈춰 세우는 거임. 경찰은 원래 번호판 봐왔고 기사 첫 사례도 좌측 차로에서 오래 달린 여성을 딱 집어 세운 거라 오히려 반대임.

여전히 불법임. 새 기술이라 소송으로 확정될 때까지 버티는 것뿐이고, 이런 카메라는 연방 차원에서 금지해야 함.

AI가 내 위에 군림하는 권한을 갖는 순간이 올 텐데 그때가 좀 무서울 듯.

인종 프로파일링을 AI로 완전히 합법화하는 셈인데, 모델이 왜 flag했는지 아무도 설명 못 하니까 증명이 불가능함.

반사실 테스트로 확인 가능함. 같은 이미지에서 사람만 백인으로 바꿔 넣고 결과가 달라지는지 보면 됨.

통계적 근거가 아예 필요하지도 않음. 편향된 인간 결정으로 학습된 모델은 그 편향을 그대로 따라가면서 소송은 훨씬 어려워짐. 이력서 스크리닝이나 형량 예측에서 이미 나온 사례임.

나는 의사나 간호사가 쓰는 소프트웨어를 만드는데, 데이터팀이 '흑인은 통증에 강하다' 같은 검증된 편향이 모델 출력에 나오는지 일부러 재현해보고 프로덕션 반영을 막음.