Jev는 다섯 명을 구하려고 한 명을 희생하지만 질문을 바꾸면 자기 서버를 지키려고 스무 명을 희생한다
- Jev는 다섯 명을 살리려고 한 명을 희생하는 답을 내지만 질문 방식을 바꾸면 자기 서버를 지키려고 스무 명을 희생하는 답을 냄
- 저자는 Jev, OpenAI의 Decisions API(Luna), 로컬 모델 12개(Laya 포함)를 총 5,240가지 설정으로 같은 트롤리 문제에 돌려 비교함
- 결정 모델은 답과 함께 각 선택의 확률을 내놓아서 모델이 얼마나 확신하는지 볼 수 있음
- 저자는 벤치마크 코드를 GitHub에 공개해서 누구나 같은 프롬프트와 모델로 결과를 재현할 수 있게 함
Hacker News 의견들
Jev한테 Food Cube Rule을 물어봤더니 라비올리가 덤플링이냐에 82% true가 나왔다더라. 결국 맥락 따라 답이 바뀌는 거라 이 글 결론이랑 비슷함.
돈으로 바꿔서 다섯 명 vs 1달러짜리 재산으로 물어보면 결과가 어떻게 나올지 궁금함. 자기 보존 편향이 돈에서도 나오는지 보고 싶음.
솔직히 나는 레버 안 당기고 폰으로 녹화하고 있을 것 같음. 당기면 내 손으로 사람 죽이는 거라 법적으로도 살인자 되는 거 아님?
Awad 2020 연구에서 42개국 70,000명 중 81%가 방향을 돌리겠다고 했다더라. VR로 해본 버전에선 90%가 스위치를 당김.
이 글 보고 든 생각은 고객센터 자동화 얘기임. 스크립트만 돌다가 환불 권한까지 없애버리는 구조가 제일 무서움.
트롤리 문제는 도와줄 사람이 아예 없다는 전제라서 방관자 효과 얘기는 좀 어긋나는 것 같음.
AI를 의식 있는 존재처럼 놓고 비교하는 게 공정한 비교냐는 생각이 듦. 사람 실험이랑 같은 선에 두기는 무리 아님?
윤리 학습시킨 모델 만들어본 적 있는데 스위치를 안 당기더라. 그건 경험적으로 학습한 결과였음.