Marques Brownlee의 'Dear YouTube', 유튜브 영상 A/B 테스트 반대와 소프트웨어 제작의 최적화 비판

사용자한테 알리지도 않고 A/B 테스트 하는 건 비윤리적이라고 봄. 변경에 확신이 없어서 전면 배포를 못 하겠으면 아예 하지 말아야지. 사용자는 자기 쓰는 게 자꾸 바뀌는 걸 원하지 않음.

그건 다크 패턴임. 연속성에 대한 신뢰를 깎아먹음. 차 계기판 다이얼이 밤새 바뀌고 어떤 출근길엔 시속 35마일 이상에서 라디오를 못 만지는 상황을 상상해봐. 그러면 그 브랜드는 '버튼 위치를 믿을 수 없는 차'가 됨.

너무 광범위한 주장 아님? 마케팅 배너나 문구 살짝 바꾸는 소규모 테스트는 충분히 합리적임. 제품 디자인과 사용자 리서치 대신 A/B 테스트로 때우는 게 문제인 거지.

어느 측면이 비윤리라는 건지 궁금함. 서버 5만 대 굴릴 때도 단계적 배포는 항상 했음. 안전한 배포를 위한 단계적 롤아웃도 비윤리라고 보는 건가?

핵심 구분은 마케팅처럼 인간 자원 착취를 최적화하려는 A/B 테스트인지, 블루/그린 배포인지임.

A/B 테스트를 없애면 'A 테스트'만 남음. 어차피 온라인 서비스는 계속 업데이트됨.

신약 RCT도 환자한테 안 알리는 이유와 같음. 알리면 선택 편향이 생김. A/B 테스트는 뭐가 더 나은지를 넘어서 X를 바꾸면 Y가 어떻게 되는지 알려줘서 앞으로 만들 기능 설계에 쓰임.

소프트웨어는 원래 자주 바뀌니까 내가 실험군인지 신경 안 씀. 근데 영상 콘텐츠는 다름. 썸네일이나 제목이 바뀌는 건 봤어도 영상 내용 자체가 달라지면 꽤 충격적임.

'창작자의 기술은 조회수 극대화가 아니다'라는 말은 너무 순진함.

지금처럼 모두가 숫자 올리기에 중독된 맥락에선 순진해 보여도, 진짜 문화를 만들려면 그게 유일한 길임.

Marques는 좋은 콘텐츠를 만드는 사람임. 근데 대다수 유튜버는 어그로, 분노, 음모론, FOMO로 관심 끌기 중임.

이런 불평 볼 때마다 이해가 안 감. 대안이 뭔데, 감인가? 측정이 불완전하다고 불평하는 사람들은 실상 이익을 측정 가능한 양으로 바꾸는 걸 못 하는 경우가 많음.

그러면 평범한 유튜버도 영상 하나 대신 세 개를 만들어야 함. 다른 사람들이 다 참여율 극대화에 뛰어드니까. A/B 테스트 후 제목과 썸네일 꼴을 보면 시청자한테도 업로더한테도 형편없음.

A/B 테스트의 A와 B는 한 가지만 달라야 함. 거의 다 다르면 뭐 때문에 결과가 바뀐 건지 배울 수가 없음.