GPT-6 Astra, 같은 로봇 팔 실험에서 블록 담기 20회 중 19회 성공했지만 퍼즐 삽입은 2회에 그침
- Robocurve가 같은 YAM 로봇 팔과 Inspect Robots 에이전트 정책으로 시험한 결과, GPT-6 Astra는 블록을 그릇에 넣는 작업을 20회 중 19회(95%) 완료함
- 같은 블록 작업에서 Fable 5.1은 20회 중 8회(40%), Fable 5는 1회(5%) 완료했으며 Astra의 평균 실행 시간은 2.5분, 추정 비용은 회당 $0.94였음
- 중앙 손잡이가 있는 파란 퍼즐 조각을 홈에 끼우는 작업은 Astra와 Fable 5.1 모두 20회 중 2회(10%) 완료했고, Astra도 홈에 도달한 뒤 마지막 삽입 단계에서 멈춤
- 사람 채점자는 각 시행이 도달한 최고 단계를 0에서 4까지 기록했으며, Astra의 평균 단계는 블록 작업 3.95, 퍼즐 작업 2.00이었음
- 전체 120개 시행의 대화 기록, 영상, 재실행 파일을 공개했으며 비용은 출력 토큰 수와 목록 가격으로 추정함
Hacker News opinions
저자들이 한계를 적어둔 건 좋았음. 중간 수준 추론 설정으로 돌렸다는 말도 흥미로움.
LLM 발전 속도는 인상적인데 내가 원하는 건 빨래 접기 같은 집안일임. 로봇이 그걸 언제 해줄지가 더 궁금함.
Sunday Robotics는 3시간 동안 빨래를 99% 정확도로 접는 방송을 했고, Figure도 여러 날 포장물 조작 라이브를 했음. 최근 두 달 사이 손 로봇 영상도 꽤 설득력 있더라.
지능보다 내구성이 병목이라고 봄. 아마존 로봇 창고에선 할 수 있어도, 100kg 로봇을 몇 주마다 수리하러 가져가야 하면 가정용으로 팔기 어려움.
빨래 접기 데이터는 일반 학습 데이터에 거의 없을 텐데, 누군가 값싼 하드웨어를 만들고 직접 데이터를 모아 학습시켜야 함. 사람들이 큰돈을 낼 작업인지도 의문임.
비트는 대규모로 다루지만 원자는 아직 훨씬 못 다룸. 앞으로 10년 안에 고급 가정용 로봇이 보급될 거라고는 기대 안 함.
나는 자율주행의 마지막 몇 퍼센트도 LLM 계열 모델이 풀지 궁금함. 게임을 다루는 걸 보면 가능성이 있어 보임.
LLM만으로는 시각을 못 보니 GPT-6처럼 멀티모달 모델이어야 함. 자율주행차에는 이미지가 프롬프트 인젝션처럼 해석돼 멈추는 공격도 걱정됨.
Waymo는 이미 일반 지식과 추론이 필요한 상황에 VLM을 쓰고 있음. 최근 자율주행 성능 도약도 트랜스포머 모델 전환과 무관하지 않다고 봄.
블록 하나 정리하는 데 2달러면 노동비로는 너무 비쌈. 칩이나 다른 방식으로 비용이 훨씬 내려가야 함.
그래도 Fable 5.1보다 GPT-6 Astra가 이미 2.3배 싸다는 결과임. 아직 비싸도 하락 방향은 보임.
로봇 팔 제어에는 범용 GPT보다 로봇 전용 모델을 써야 한다고 봄.
이 실험은 언어 모델로 로봇 제어가 효율적인지 주장하는 게 아니라, 같은 조건에서 어떤 결과가 나오는지 보는 비교 실험임.
Astra와 Codex 컴퓨터 사용을 해보면 꽤 다름. GUI 앱에 목업을 주자 실행 모드별 스크린샷과 상호작용용 하네스를 직접 만들고, 실행과 수정 루프를 돌렸음.
Helm 차트만 주고 클라우드 서비스의 소스까지 거슬러 올라가 개발자용 코드 아틀라스를 만들게 했는데 한 번에 맞았음. 저장소 변경을 매일 반영하는 갱신도 시킬 수 있으니, 예전에는 시간을 못 내 만들던 문서 제품을 20분 만에 만들게 됨.