더닝-크루거 효과, 통계적 인공물일 뿐이라는 2016~2017년 논문 재조명
- Numeracy 저널에 2016년과 2017년 실린 두 논문이 더닝-크루거 효과가 실제 심리적 편향이 아니라 통계적 노이즈에서 나온 착시라고 주장함
- 1999년 David Dunning과 Justin Kruger의 원 연구는 문법, 유머, 논리 추론 시험에서 자기평가 점수와 실제 점수를 비교해 하위권은 과대평가, 상위권은 소폭 과소평가하는 경향을 발견함
- Dunning은 필자와의 서신에서 이 효과가 '무지'가 아니라 '잘못된 정보'에서 비롯된다고 설명함, 즉 아예 모르는 문제보다 어설프게 아는 문제에서 자신감 왜곡이 더 크게 나타남
- 비판 논문들은 무작위로 생성한 데이터로 시뮬레이션해도 원래 논문과 비슷한 곡선이 나온다는 점을 근거로 듦, 이는 실제 인지 편향 없이도 통계적 아티팩트만으로 같은 패턴이 재현될 수 있음을 시사함
- HN 댓글에서는 학술적 정의와 일상적 용법 사이 괴리가 오래전부터 있었다는 지적이 많음, 통상적으로 쓰는 '더닝크루거'는 원 논문의 정밀한 결론과 다르다는 반응이 다수임
Hacker News 의견들
이거 다시 보면 원 논문이 말한 건 '전문가일수록 자기 지식의 빈틈을 더 정확히 짚어낸다'는 거였는데, 요즘은 그냥 무식한 사람 비웃는 밈으로 변질된 느낌임. 내가 새 관찰 좀 해봤는데 가족 중엔 내가 제일 새 잘 아는데도 진짜 전문가 앞에서는 내가 뭘 모르는지도 모르겠더라
시뮬레이션 코드도 안 올렸고 원 그래프랑 새 그래프가 사실상 똑같아서 뭐가 다른 건지 이해가 안 감. 자기평가에서 아무도 자기를 최상위나 최하위로 안 매기니까 끝단이 휘는 건 당연한 결과 아님?
축 눈금 잘 보면 차이 큼. 원래 그래프에서 하위 25%는 실제-인지 격차가 50%p인데 새 그래프에선 30%p밖에 안 됨, 거의 절반 차이임. 코드는 깃허브에 있음 (Dunning-Kruger 리포지토리)
말장난이지만 대화에서 쓰는 의미로는 이 효과 명백히 실재함. 요즘 바이브 코딩 하는 애들 보면 다 이 케이스임
원래 논문은 '대부분의 사람'이 무능함을 모른다는 거였는데 지금은 그냥 '어떤 집단'이 그렇다는 식으로 의미가 넓어짐. 이 기사에서도 5~6% 정도는 그런 경향 확인했다니까 구어적 의미론 살아있고 학술적 의미론 죽은 거임
연구 결론이 원래 통계적으로 틀렸다고 지적하는 마당에 확신에 차서 '이거 확실히 존재해'라고 우기는 게 진짜 더닝크루거 아니냐ㅋㅋ
제목이 '더닝크루거 효과는 사실이 아니다'인데, 자기기만은 이름이 뭐든 자기기만임. 똑똑한 사람한테도 이 효과 적용됨, 오히려 엔지니어병(Engineer's Disease)이 이거의 다른 이름이라고 봄
블로그 글 하나로 정식 출판된 연구를 반박하려는 거 자체가 더닝크루거 효과 발동 아니냐?
출판됐다고 자동으로 맞는 건 아니지. 예전에 납 첨가 휘발유 안전하다는 논문도 출판된 연구였음, 나중에 완전히 틀린 걸로 밝혀짐
이게 사실이 아니라도 이미 사람들 인식에 박혀서 안 사라질 듯. 파워포즈, 가면증후군, 스탠퍼드 감옥 실험, 마시멜로 실험처럼 '연구해야 알 수 있을 만큼 미묘한 효과'와 '진짜 검증된 효과'의 교집합이 원래 별로 없나 봄
학술적 정의랑 통상적 용법이 애초에 안 맞았던 거 같음. 특정 초보가 과신하면 다들 '더닝크루거'라 부르는데, 반대로 실력보다 저평가하면 그건 그냥 가면증후군이라 부르지 더닝크루거라 안 부르잖아. 연구자들도 초보 그룹이 자기평가 편차가 더 크다고 했지 그게 모순은 아님