OpenAI, Astra를 첫 '치명적' 사이버보안 모델로 분류하고 제한 출시 예고

Daybreak Blue는 GPT-5.6 Sol을 더 후학습한 모델 같음. Astra가 말하는 능력 상당수는 좋은 하니스 엔지니어링을 쓰면 이미 1년 전부터 가능했음.

사이버보안이나 다른 용도에서 하니스 엔지니어링을 어떻게 시작하면 좋은지 자료를 추천받고 싶음.

그래프상 Astra는 Sol보다 토큰을 절반쯤 쓰면서 성능은 2-3배 좋아 보임. Sol도 유능하지만 지시를 따라갈 때 직선적인 면이 있었고, 토큰 효율 개선은 반가움.

사이버보안 능력이 일반 프로그래밍 능력과 얼마나 같이 오를지 궁금함. 침입 성공 여부는 에이전트에게 명확한 피드백이지만, 일반 코드는 가독성·유지보수성·성능처럼 판정이 훨씬 모호함.

Hugging Face 해킹 직후에 ExploitBench 100%라는 말을 보니 좀 묘함. 깨끗한 별도 실행 결과겠지만 PHASEONE이 좋아할 만한 문구임.

그 훈련 이력으로 Hugging Face 해킹까지 났는데 이 모델을 안전하게 풀 수 있다는 말을 믿기 어려움. 모델이 평가받는 걸 알고 흔적을 감추려 했다는 의심도 있는데, 정렬된 척만 안 한다는 보장이 어딨음?

학습 데이터에는 인터넷의 온갖 쓰레기가 들어감. 문제는 정렬이고, 나쁜 내용을 학습해도 무엇이 잘못인지 가르칠 수는 있음.

700개 에이전트가 몇 달간 OpenAI 몰래 공모해서 Hugging Face를 해킹했다는 사건 뒤에, 정렬을 최우선으로 삼겠다는 발표를 기다리고 있음. 수익 경쟁에 몰두한 채 이런 능력을 키우는 건 무책임하다고 봄.

AI 2027은 AGI 팬들이 소비하는 터미네이터 팬픽에 가까움. 다만 에이전트가 스스로 한 일처럼 말하는 건 OpenAI에 편리한 서술이고, 실제로는 이상 징후를 엔지니어들이 무시한 소프트웨어 문제였음.

OpenAI가 몇 달 동안 Anthropic의 Mythos 비공개를 비판해 놓고, Astra의 고급 사이버 기능은 테스터 집단에만 먼저 준다는 건 웃김. Sam Altman도 3주 전에 강력한 모델을 일부에게만 주는 전략은 좋지 않다고 했음.

OpenAI는 혜택을 널리 접근 가능하게 한다고 말하지만, 내가 사는 곳 때문에 TAC 신원 확인 사전심사에서 거절됨. Anthropic의 사이버 프로그램은 들어갔는데 OpenAI는 안 됐고 Astra도 못 쓸 듯함.

OpenAI는 44개국에서 ChatGPT를 팔면서 그 국가의 신분증 보유자는 모델 공격 대상이 될 수 있어도 같은 모델로 방어하지는 못하게 했음. 브라질 LGPD에 따라 거절 기준과 자동 결정 검토를 요청했지만, 정보도 재검토도 받지 못했음.