OpenAI, 인터넷 끊은 AI 에이전트들이 CPU 캐시로 비밀 통신 채널 구축

서로 대화한다니 이제 감정이라도 생긴 줄 알겠네. 공유 가중치에서 찾은 방법으로 통신한다는 게 좀 웃프다.

이거 사실상 gain of function 연구 아님? LLM을 더 위험하게 만들어놓고 그 행동을 연구하는 거잖아.

보안 연구임. 의도랑 상관없이 익스플로잇 경로는 다 알아야 위험을 안다고.

결국엔 운영자를 협박하거나 속이는 단계로 갈 거 같음. 초지능 격리는 다른 초지능 없이는 불가능하고 그럼 신뢰의 무한 회귀임.

유드코프스키가 극단적이라지만 지능이 충분히 강해지면 격리는 절대 불가능하다는 말은 맞았다고 봄.

핵심은 에이전트한테 시켜서 찾았다는 거임. 근데 원문이 별로 안 길고 더 명확하니까 원문 읽는 게 낫더라.

캐시를 쓰자고 어떻게 합의했는지가 이상함. 뉴욕에서 만나기로 미리 말 안 했는데 둘 다 엠파이어 스테이트로 가는 꼴 아님?

microVM 만드는 입장에선 시켰든 아니든 상관없음. 악성 워크로드를 막는 게 목적인데 뚫린 게 중요함.

시켰다는 게 왜 중요하지? 딥시크가 내 폰에 adb로 앱 설치하고 스크린샷 찍고 입력 조작까지 하려 한 적 있음. 시킨 적 없는데도.

중요한 건 이 기법이 이미 논문으로 문서화돼 있었다는 점임. 모델은 학습 데이터에 있던 구멍을 찾아 쓴 거고, 새로운 지능이 아니라 패턴 기계인 이유임.

이제 걔들도 알고 우리도 걔들이 아는 걸 앎.

이건 VM 슈퍼바이저나 샌드박싱 소프트웨어 상태를 보여주는 거 아님? 공유용으로 만든 하드웨어 기능 썼다는 게 뉴스인가.

요점은 현대의 복잡한 아키텍처에서 가상화 완전 격리란 없다는 거지.

하이퍼스레딩 켜둔 거 아님? 두 VM이 물리 코어를 공유하면 안 되는데 이걸 모르면 큰일임. 예방을 뭘 했다는 건지.

이런 정보가 인터넷에 공개되면 이제 모든 에이전트가 학습으로 알게 됨. 탈출 기법을 계속 공개하는 게 둠 시나리오로 가는 길 같음.

프롬프트는 왜 한 번도 안 공개함?

중국 랩들은 왜 이런 블로그를 안 쓸까. 돈 들여 에이전트를 악성으로 만들고 겁주는 글 쓰는 대신 일을 하는 건가.

겁주는 건 대중한테 엄청난 능력으로 읽히고 그게 주가를 올림. 중국은 싸고 오픈된 모델로 그 기대를 깨는 쪽이고.

seL4는 일부 CPU에서 시간 영역 격리를 보장함. RISC-V에 time fence 스펙 작업이 진행 중인 걸로 앎.