20년 넘게 인용된 아리엘리 마감 연구, 재현 실패 뒤 원자료 조작 정황 공개
- 2002년 Ariely·Wertenbroch 논문의 Study 2는 60명을 세 조건에 각 20명씩 배정해 교정 과제를 시켰고, 매주 마감 조건이 자율 마감·최종일 일괄 마감 조건보다 성과가 높다고 보고했음
- 새 Psychological Science 재현 연구는 원 논문의 Study 2를 재현하지 못했으며, 연구진은 2006년에 받은 원자료 파일 분석을 논문에 덧붙이려 했으나 Dan Ariely가 파일이 실제 데이터가 아닐 수 있다며 거부했고 다른 데이터를 내지 않았음
- Data Colada는 2006년 Kyle Hyndman이 받은 파일을 분석해 Study 1과 Study 2 데이터가 조작됐다고 결론 내렸으며, 분석 코드와 자료를 ResearchBox에 공개했음
- Data Colada가 게시글 초안을 공유한 뒤 Dan Ariely와 Klaus Wertenbroch는 Psychological Science에 원 논문의 철회를 요청했으며, 철회 절차는 진행 중임
- 원 논문은 경제학·심리학 수업의 지정 읽기 자료였고 Google Scholar에서 2,100회 이상 인용됐음
Hacker News opinions
원저자들이 논문 철회를 요청했다면 '아무것도 안 한다'고 할 일은 아닌 듯함.
논문과 재현 연구를 훑어봤는데, 마감이 사람 성과에 주는 효과를 단순하게 믿기 어렵더라. 그렇다면 마감 자체를 어떤 방식으로 정해야 하는지가 궁금함.
마감을 없앨 수는 없다고 봄. 뒤 공정은 산출물을 기다릴 수 없으니 관리자가 필요한 시간을 정하고 합의 가능한 일정과 책임을 만들어야 함.
아리엘리가 듀크에 계속 남아 있는 일은 큰 문제라고 봄. 나는 예전에 그의 연구와 책을 열심히 추천했는데, 지금은 학술기관 직위를 유지하는 게 납득 안 됨.
아리엘리는 대중서 3권으로 유명해진 뒤 여러 연구에서 조작 문제가 나왔음. 이런 일이 계속 드러나는데도 듀크가 관계를 유지하는 점도 이상함.
2006년 MIT 미디어랩 시절, 인간 대상 교육을 받지 않은 보조연구원과 전기충격 실험을 했다는 대목을 봤음. 온라인 1시간 교육만으로 그런 실험을 맡길 수 있다는 제도 자체가 문제 아닌가.
유명해져서 외부의 검증을 더 받는 연구자만 적발되는 면도 있다고 봄. 심리학만의 문제는 아니고, 내가 본 실험실에서도 원하는 결과가 나올 때까지 측정하거나 데이터를 조정하는 관행이 있었음.
나는 이 건의 조작 증거는 모호하지 않다고 봄. 특히 엑셀 파일 3개의 '마지막 저장자'가 Dan Ariely로 표시된 점을 굳이 언급한 이유가 있어 보임.
연구는 사람들에게 교정을 시키면 되는 정도로 재현하기 쉬워 보이는데 20년 넘게 아무도 하지 않았다는 게 더 놀라움. 학부생 과제로 무작위 논문 재현을 시키는 식의 유인을 만들면 안 되나.
재현을 늘리려면 그냥 돈을 지급하면 됨.
재현은 남의 제품을 무급으로 검사하는 일임. 버그를 찾아도 테뉴어를 받기 어렵고, 그래서 학계가 20년 동안 미뤄온 것 같음.
인간 대상 연구는 장비가 없어도 돈이 들고, 재현 성공은 보상이 거의 없으며 실패도 한 번으로 결론이 나지 않음. 이 건은 재현 자체보다 오래된 데이터의 통계적 이상치에서 조작 정황을 찾은 사례임.