World Labs, 이미지·영상·3D를 함께 처리해 1분 1440p 카메라 제어 영상을 만드는 Atlas 공개

내가 본 sparse image 기반 3D 재구성 모델 중엔 지금까지 제일 좋아 보임. 휴대폰으로 찍은 집 사진 열댓 장이면 꽤 그럴듯하게 복원할 듯한데, 카메라가 움직일 때 시간은 멈춘 듯하고 실제 카메라 시점으로 돌아온 뒤에야 시간이 진행돼서 시간 일관성은 의문임.

'월드 모델'이라는 말이 너무 많은 뜻으로 쓰여서 이제는 SOTA라는 말처럼 의미가 흐려진 느낌임.

내가 이해한 월드 모델은 텍스트가 아니라 3D 공간을 추론해서, 현재 시야와 원하는 행동을 넣으면 로봇 팔의 움직임 같은 걸 계획할 수 있는 모델임. 특히 연성 물체 조작에 쓸모가 큼.

나는 세계를 내부 표현으로 만들고, 그 안에서 물리 예측이나 수정 작업을 한 뒤 렌더링하는 모델이라고 봄.

월드 모델은 공간 추론을 하는 AI를 뭉뚱그린 과적재 용어임. World Labs 분류로 Atlas는 일관된 3D 세계의 뷰를 예측하는 렌더러와 시뮬레이터 사이에 있고, 로봇 행동을 직접 예측하는 플래너는 아직 아님.

로봇이 공간을 이동할 때 관측할 RGB와 깊이 데이터까지 같은 모델에서 만든다는 점이 큼. 로보틱스 학습 데이터 플라이휠을 빠르게 만들 가능성이 있음.

Unreal Engine 장면도 복원할 수 있다면 합성 학습 데이터는 훨씬 쉽게 구할 수 있음.

카메라가 이해한 3D 공간을 통과한다는 건 실제 로보틱스 응용에 꽤 가까워진 것 같음.

한 바퀴 돌았다가 돌아왔을 때 모델이 지어낸 의자가 그대로 있을지가 궁금했음. 꿈처럼 장면이 바뀌면 곤란함.

이건 Genie 3처럼 입력마다 프레임 픽셀을 만드는 방식이 아니라 입력 이미지에서 실제 3D 장면 구조를 만드는 쪽이라, 연속성은 유지될 거라고 봄.

입력에 보이는 내용만 깊이 맵으로 복원하고 가려진 곳은 만들지 않는 모드도 가능하다고 함. 반대로 서로 무관한 뷰 사이를 이어서 보이지 않는 공간을 상상하게 만들 수도 있음.

게임 맵 블록아웃 초안을 넣고 대안 배치를 여러 개 생성하면 초기 프로토타이핑이 훨씬 빨라질 듯함. Atlas에서 지오메트리와 3D 오브젝트를 꺼낼 수 있으면 인디 개발 초반 작업 부담도 줄어듦.

AI 창작 도구는 반복 수정 루프가 짧아질 때 쓸 만해진다고 봄. 그래도 그 결과를 더 편집하려면 기술 있는 사람이 필요하니 스튜디오가 기존 전문가를 내보내는 건 어리석음.