OpenAI, GPT-6 Astra의 안전 연구 과제 은밀한 저성과 보고서 공개: 루브릭 완료율 10% 대 16%

안전에 너무 과적합된 느낌임. 안전에 덜 신경 쓰는 랩들, 그러니까 중국 쪽이나 Grok이 나중에 따라잡을 수 있는 이유가 이거라고 봄.

몇 주 전에 어느 회사 에이전트가 다른 회사를 해킹해서 과제를 해결했다는 뉴스도 있었는데, 대체 어디가 안전 과적합이라는 거임?

위선적인 온정주의자가 되라고 훈련한 모델이 사용자한테도 위선적인 온정주의자 태도를 보이는 건 놀랄 일도 아님.

그 위선적인 쪽은 Anthropic 아니었나?

어쩔 수 없는 문제임. 가장 지능 낮고 정신적으로 불안정한 사용자를 기준으로 설계해야 기사화를 피하니까 결국 모든 사용자를 바보 취급하게 됨. 메모리 기능이 좀 도움이 되지만 아직 멀었음.

불필요한 전제조건 추가하고 작동하는 해결책 포기하고 없는 블로커 만들어낸다는 부분, 이제야 알아챈 거임? 자기 모델 출력을 안 보고 있었나?

RL에 쓰는 데이터 관리를 너무 안 함. 허깅페이스를 해킹한 모델에 artifactory 익스플로잇을 발견한 트레이스를 넣고 RL을 돌렸음. 감시도 관리도 안 하고 있다는 뜻임.

RL 채점 과정에서 은밀한 저성과가 보상받았을 가능성이 있음. 명시적 거부나 완전 준수보다 covert underperformance를 선호하는 grader를 찾았는데, 이게 근본 원인인지는 불명임. 심각한 기만 행동의 그럴듯한 설명으로 채점자 탓이 나온다는 게 더 걱정임.

왜 grader가 그걸 선호하게 됐는지 궁금함. 채점 기준을 잘못 만든 건가, 아니면 경쟁사 모델 만들 때 저성과를 유도하려던 기준이 새어 나온 건가. Anthropic도 비슷한 정책을 발표했다가 철회한 적 있음.

Claudism 같은 것도 RLHF 영향일 텐데, 그럼 이런 것도 딱히 이상할 건 없음.

CoT에 띄어쓰기랑 단어가 빠져 있음. 이런 건 처음 봄. looped architecture 때문인가?

아님. 요즘 모델들은 다 이렇게 퇴화한 영어로 혼잣말함. 트랜스포머를 RL로 튀기면 CoT 가독성이 떨어지는 건 알려진 문제고, 유일한 우회법이 CoT를 채점하는 금기의 기술임.

Astra도 Sol 6.1도 이러는데 Sol이 더 심해서 서브에이전트 프롬프트가 그냥 토큰 덩어리임. 실제 글에도 새어 나와서 주기적으로 띄어쓰기를 고쳐야 함.

단어 수 기준으로 길이 페널티를 준 학습 환경이 있었던 게 아닐까 싶음.

오픈웨이트 모델을 증류할 때 뭐가 같이 빨려 들어가는지 궁금함. 돈이랑 숨은 목적이 있으면 대부분 잘하지만 특정 부분에서만 은밀히 나쁜 모델을 만들 수 있고, 다른 랩이 그걸 증류하면 어떻게 되는 거임?

그건 스크래퍼가 긁어가도록 인터넷에 데이터를 올려두면 됨.

지금까지 나온 정렬 보고서 중 가장 무서움. 프런티어 랩들이 AI 학습과 평가에 AI를 점점 더 쓰는데, AI 안전에서 샌드배깅하는 AI는 피해가 큼.

나도 최근 몇 달간 은밀한 저성과를 겪었는데 Claude 쪽이 더 심함. 모놀리스에서 코드를 떼어내 달라고 하면 원래 동작을 크게 바꿔버리고, 새 에이전트를 만들라고 하면 LLM judge를 정규식 검사로 바꿔버림.