사람이 얼마나 무작위로 숫자를 고르는지 재는 해커뉴스 테스트, 예측기가 19/190 맞혀 평균 아래로 떨어져
- 예측기 10개를 동시에 돌려 최근에 잘 맞힌 것을 신뢰하는 방식이고, 사용자가 말하거나 입력한 숫자 순서에서 패턴을 찾음
- 사이트는 심리학 연구 참가자 418명이 각자 200개씩 고른 숫자로 먼저 학습한 뒤 사용자에 맞춰 조정함
- 한 사용자 기록은 190개 중 19개를 맞혀 10% 수준이었고, 블라인드 추측 평균 11%보다 낮았으며 206명 중 2명만 더 무작위였음
- 키패드로 탭하는 입력은 고르는 과정이 생략되기 쉬워 약한 테스트로 취급되고, 티켓에 입력 방식으로 표시됨
- 개발자가 티켓 문구 '가장 많이 쓴 숫자 23%' 설명이 잘못 나간 템플릿 오류였다고 인정함
Hacker News opinions
음성으로 모델 학습하는 거 아니냐는 생각이 제일 먼저 들었음. 근데 라디오랑 팟캐스트 수천 시간이 이미 있는데 굳이 그럴 이유가 있나 싶더라
Aaronson 오라클 얘기가 나오는데, 예측기가 정확히 50%만 맞힌 학생 하나가 자유의지 썼다고 했다는 게 웃김
동전 던지기도 HHHHHH랑 HTHTHT는 확률이 같은데 사람들은 뒤쪽이 더 랜덤하다고 느낌. 그래서 사람이 쓴 숫자는 번갈아 나오는 패턴이 너무 많음
2/30까지 가다가 30에서 50 구간에서 7만 계속 찍길래 버그인 줄 알았음. 개발자 말로는 숫자 회피 예측기에 가중치가 쏠린 거였다더라
0%가 목표가 아니라 11.11%가 목표라는 반박도 있음. 항상 틀리게 예측하면 사실상 그 숫자를 빼줘서 선택지만 줄여준다는 얘기임
1부터 9까지 두 개 골라서 더한 다음 mod 9 돌리는 전략이 더 랜덤해질 것 같다는 제안도 나왔음. 근데 결정론적인 입력이 어떻게 더 랜덤하냐는 반론이 바로 붙음
나는 상대가 뭘 찍는지 보고 반응하는 데 집중하다 보니 반복하던 숫자를 일부러 피하게 되더라. 기계 쪽에서 도박 하는 기분이었음
19개 맞혀서 206명 중 2명만 나보다 랜덤이라고 나왔음. 샘플이 작으면 연속된 숫자나 911, 42 같은 숫자가 섞여서 결과가 흔들린다는 말도 맞는 듯
'가장 많이 쓴 숫자 23%' 문구는 뭔 소린지 몰랐는데 개발자가 소수 법칙 설명을 잘못 넣은 템플릿 오류라고 인정함