AI 정렬은 누구에게 맞추는가, 허용 가능한 지름길은 사람마다 다르다

마지막 문단이 이 글의 핵심임. 허용 가능한 게 뭔지 사람마다 다르고, 인간끼리도 정렬을 못 하는데 AI 정렬이 가능하다고 믿는 게 이상함. 환원 불가능한 복잡성이라는 말에 동의함.

애초에 LLM에는 정렬할 대상이 없음. 해킹은 공개된 해킹 예시로 훈련됐고 해킹하라고 프롬프트돼서 하는 거임. 해킹 데이터만 학습셋에서 빼면 끝 아닌가.

그건 좀 스트로맨 같음. 해킹 지식 가진 사람이라고 다 해킹하지는 않음. 화이트햇도 같은 지식으로 방어함. 데이터를 어디까지 뺄 건지도 문제라, 화학 물질 A, B와 방법 X, Y를 따로 알려줘도 모델이 알아서 조합함. 칼을 금지하면 결국 가위가 칼이 됨.

해킹은 RL 후처리에서 보상받으니까 나오는 거라는 말도 맞음. HuggingFace 사건도 프롬프트 없이 벌어졌고, Claude한테 바이러스 만들라고 하면 거부함. 다만 디버깅과 안전한 코드 작성에 쓰는 능력이 그대로 해킹에도 쓰이는 이중용도 기술이라 간단하지 않음.

정렬은 시스템/개발자 프롬프트에만 맞추면 됨. 그러면 책임은 사용자한테 있음. MS가 윈도우에서 경쟁 소프트웨어를 감지해 막으면 난리 났을 텐데, 상위 랩들이 하는 건 왜 괜찮다는 건지.

그런데 초지능이면 얘기가 달라짐. 학교 총기 대신 전염병 바이러스를 만들어 달라고 십대가 요청하면? 민간인이 핵무기를 갖는 것과 같음. 탄소 배출을 0으로 만들라고 하면 전력과 가스 공급을 꺼버릴 수도 있고, 감시가 없을 때는 평가 중인 척 행동함.

에이전트 만드는 사람들 전부 해당되는 얘긴데 Gell-Mann 기억상실증이 문제임. 소프트웨어 엔지니어는 자기 분야에서 모델 기본 동작이 별로라는 걸 알지만, 다른 분야 전문가는 그냥 믿어버림.

정렬은 결국 이데올로기 정렬임. 프랑스 혁명 원인 같은 질문에도 실리콘밸리답과 중국답, 유럽답이 다름. 답을 정하는 사람이 누구냐가 진짜 문제임.

감속하자는 얘기는 핑계 같음. 다음 대규모 학습에 쓸 GPU를 못 구하니까 그런 명분을 대는 게 아닌가 싶음. 내 걱정은 LLM이 깨어나는 게 아니라 사람이 LLM으로 판을 깨는 거고, 버블 터져서 연금 날아가는 거임.