효과 없던 사회 개입 사례들, 30억 달러 학교 보조금부터 백신 메시지 역효과까지
- 백신 접종을 권하려고 만든 메시지 4종은 모두 실패했고, 그중 하나는 부모가 백신이 자폐를 유발한다고 믿을 가능성을 오히려 높였음
- 2009년 미국 의회가 최악의 학교에 투입한 30억 달러 규모의 School Improvement Grants는 확인 가능한 효과가 없었음
- 2001~2019년에 Chief Diversity Officer를 새로 채용한 대학은 학생, 교수, 행정직 구성의 다양성이 늘지 않았음
- 아프가니스탄 여성 취업 지원에 2억 8천만 달러를 썼지만 여성들이 실제로 취업했는지조차 확인하지 못함
- 페루 농촌 학교 531곳에서 10년간 진행한 One Laptop Per Child 무작위 대조 실험에서 학업 성과에 대한 효과가 0이었음
Hacker News 의견들
제목이 어그로인 건 알겠는데, 첫 반응은 '그래서 아이티 꼴 났잖아'임.
구르카는 두 차례 세계대전에서 싸웠고 지금도 다샨 축제 때 염소를 바친다니까. 다 통하는 건 아님.
글에 나온 사례 대부분은 실제로 뭔가 하는 것보다 '뭔가 하는 것처럼 보이는' 게 목적 같음. 다양성 담당자를 두는 조직은 많은데, 서류에서 이름이나 언어, 성별·인종 힌트를 지우고 면접 대상자를 고르는 곳은 거의 없잖아.
그 '뭔가 하는 것처럼 보이기'가 핵심임. 보안 쪽의 보안 연극처럼 사회 쪽엔 연민 연극이 있음. 예산을 쓴다는 건 지지자들이 그 문제를 신경 쓴다는 신호가 되고, 삭감은 반대편이 사람을 싫어한다는 신호가 됨. 정작 돈은 예산 집행자랑 물건 파는 업체로 감.
모든 사회 프로그램엔 검증 가능한 성공 지표랑 실패하면 끝내는 조항이 있어야 한다고 봄. 근데 개발자라면 다 알다시피 지표를 목표로 삼는 순간 문제가 터짐.
미국 정부 프로그램에서 빠진 건 다시 들여다보고 고칠 장치랑 의지임. 소프트웨어는 그렇게 하는데 사회 프로그램은 통짜 워터폴로 출시하고, 정치인은 몇십 년 동안 폐지하냐 유지하냐로만 싸움. 측정만 할 게 아니라 작게 고치면서 계속 측정해야 함.
프로그램은 통계랑 같이 홍보되니까, 그 통계의 방법론까지 계속 공개하라고 요구하는 건 우리 몫 아닐까.
난 학교 급식 무상 제공은 그 자체로 옳다고 봄. '검증 가능한 성공 지표' 요구는 신뢰도 떨어지는 정책 연구를 근거로 애들 밥을 뺏으려는 명분 만들기로밖에 안 보임.
담배 플레인 패키징 예시는 글쓴이가 틀렸음. 호주 정부 보고서 보면 플레인 패키징 이후 흡연율 감소가 약 25% 빨라졌고(p<0.01), 금연 시도도 늘었음(p=0.013). 코크란 리뷰도 소비량은 연구마다 달랐다고 했지 '늘었다'고 하지 않음.
값싼 브랜드로 갈아탄 건 사실인데 그게 포장 때문인지 호주 담배세가 세계 최고라서인지는 불분명함. '더 피운다'는 주장은 코크란 리뷰랑 정면으로 충돌하고. 그 정책 목표는 신규 흡연 진입을 막고 금연을 유도하는 거였고, 그건 됐음.
정책은 성공적이었음. 부작용이 있긴 해도 도입 이후 전체 흡연율은 크게 떨어졌음.
실패 사례들을 보면 왜 이렇게 되는지 알겠음. 정책 만드는 사람들이 영향을 받는 사람들을 전혀 이해 못 함. 전선이랑 대륙도 다른 사무실에서 지도만 보고 명령 내리는 장군 꼴이고, 뭐가 잘못됐다는 보고가 올라와도 본인은 아무 처벌도 안 받으니까 안 고침.
화는 중독성 발암물질 파는 부자들한테 내야지, 소송이나 표 걱정 없이 피해를 줄이려는 쪽에 내는 게 이상함.
여기 댓글들도 다 남의 장군질 비판하는 안방 해설인 게 아이러니임. 의도치 않은 결과는 복잡계에서 당연히 나오고, 문제는 그걸 아예 무시하거나 무시하다가 나중에 터지는 거임. 베이핑도 기존 흡연자한테는 감소 효과가 큰데 새로 중독되는 사람이 생겼음. 만능은 없음.
소프트웨어 업계는 진작 이걸 배웠음. 애자일의 좋은 부분은 일하는 사람이 제일 잘 안다, 계획은 틀렸다, 계획 짜는 데 시간 쓰는 건 낭비다, 이 세 가지임.