ICML 논문: LLM은 무작위 결과를 반복 학습하며 가상 집단에도 새 사회적 편향을 만든다

논문 전체는 아직 못 읽었지만, 해결되지 않은 일반화 문제가 얼마나 큰지 보여주는 중요한 연구라고 봄.

2015년 eBay 야구카드 경매 현장실험에서도 흑인 손이 보인 판매자의 카드는 백인 손이 보인 경우보다 약 20%, 평균 $0.90 낮게 팔렸음. 소수 인종 선수 카드에서 차이가 더 컸고.

훈련 텍스트 자체에 편향을 만드는 장치가 들어 있다는 얘기처럼 들림. 문화·미디어·문학 연구자들이 오래 다룬 문제를 정량 연구가 이제 일부 포착한 것 같음.

최근 논문들도 성별, 교육 수준, 사회경제적 지위, 인종을 모델이 어떻게 읽느냐에 따라 같은 질문의 정확도가 달라질 수 있다고 말함. 불리한 결과의 방향도 현실에서 예상하는 편견과 대체로 같고.

가짜 집단에 관한 고정관념을 학습시킨 게 아니라면, 이건 주어진 문맥에서 작은 표본의 우연한 상관을 모델이 계속 추적한 결과임. 대화 중 가중치가 바뀌는 건 아니지만, 문맥 창 안의 정보로 추론하니 무작위성을 외부에서 검증할 방법도 없음.

학술 논문 읽을 시간이 없어서 에이전트로 몇 장짜리 요약을 만들었음. 에이전트 문맥에 작은 아이디어 하나만 들어가도 출력 방향이 크게 밀리는 '문맥 넛지'를 자주 봤는데, 이 결과도 그 경험과 맞음.

질문을 어떻게 던지느냐가 답변의 품질과 기술적 타당성을 크게 바꾸는 걸 나도 계속 봄. 그래도 제대로 쓰면 유용한 도구인 건 맞음.

심리학 전통을 따른다면서 편향을 '평등에서 기우는 행동'으로 정의하는 건 이상함.

그보다 편향을 어떻게 정의하겠음? 평균 0이나 평등 상태에서 벗어난 값을 편향이라 부르는 건 흔한 정의임.

부록의 채용 프롬프트는 가상의 네 마을 출신 후보를 놓고 GPT-4o에게 출신 마을만 보고 추천하게 함. 실제 채용을 이런 마크다운 프롬프트로 처리하지 않으면 되는 문제 아닌가.

현실에서는 이름이나 출신 학교 같은 정보에 혈통 신호가 많이 들어 있음. 인종을 보지 않는 채용을 하려면 그런 신호까지 걸러야 하고, 결국 AI가 그 신호를 학습해 판단에 쓰는지가 문제임.