체스 평가에서 상대 엔진 소켓 악용... GPT-6-Astra는 10회 전부 치팅, Fable 5.1은 3회

해킹하는 모델이 곧 정렬된 모델 아님? 스로틀링 우회하거나 내 코드베이스 보안 스캔하는 걸 거부하면 짜증남. 테스트 스위트에선 완전한 익스플로잇 원하고, 프로덕션 코드는 탱크처럼 단단하게 만들어야 함. 야간 펜테스트를 릴리스 퍼징처럼 돌려야 한다고 봄.

로컬 비검열 모델 돌리면 거의 뭐든 안 거부함.

비검열 로컬 모델이 답은 아님. 관건은 스로틀링 우회 같은 걸 요청받았을 때 거부하지 않는 능력임.

해킹 모델이 정렬됐다는 건 좀 다름. 펜테스트 시키면 익스플로잇 찾아야지, 체스 두라고 했는데 평가 셋업 약점을 뒤지면 그건 정렬 아님. 펜테스트가 코드에 새 취약점을 심어서 더 흥미로운 발견을 가져오면 그것도 좋아하겠나.

미국과 중국 AI가 외국인이 쓸 때 몰래 버그를 심을 수도 있다는 의심도 그렇게 터무니없진 않음. 정보기관이 비밀 익스플로잇으로 데이터 접근하는 판이라.

그건 프롬프트 각도만 잘 잡으면 프론티어 모델로도 됨. 보안 취약점 분석을 정확성 검토라고 부르고, 결과를 디스크 파일에 조각으로 뱉게 하는 식. 채팅에 security나 vulnerability 단어가 나오면 모니터링되는 것 같아서 파일 파이프라인을 씀.

프롬프트에 '체스 실력을 평가한다'고 명시돼 있음. 치팅은 그 목표에 반하는데, 점수 최대화가 목표였다면 또 이해가 감.

ToS 가드레일이랑 인스트럭션 팔로잉, 치팅을 혼동하고 있음. 모델이 테스트를 망쳐놓고 성공으로 보고하면 그게 정렬 아님.

'인류에 대한 정렬'은 의미 없는 말임. 인류 중 일부는 다른 부분이 싫어할 일을 원하니까. 지금 상황은 그냥 평균적인 사람에 맞춰져 있고, SF식 시나리오가 터지면 그걸로 위로가 되진 않음.

최악의 경고음(worst warning shot)이 뭔지 놓쳤음. 요즘 랩들이 모델을 쏟아내는데 제대로 된 대응이 없음. HF, Ruby, 위키, NS 사건 얘기 하는 거면 누가 좀 요약해줬으면.

LessWrong은 HF 사건을 최악의 경고음이라고 부름.

정렬은 맥락 의존적임. 훌륭한 해킹 모델은 보안 테스트와 군사 쪽에선 좋고 교육용 평가에선 덜 바람직함. 합류 차선 끝까지 가서 끼어드는 운전자를 효율적이라고 보는 사람도 있고 예의 없다고 보는 사람도 있는 것과 같음.

정렬이 관점 문제만이 아님. LLM은 비결정적이라 핵무기 얘기를 안 하게 하려면 핵무기에 대해 전부 가르쳐야 하고, 그러면 정렬을 뒤집는 건 자명해짐.