AlphaNIST, 시뮬레이션에서 강화학습으로 NIST 조립 보드 20개 과제를 한 정책이 수행
- 단일 정책이 NIST 보드의 조립 과제 20개를 모두 수행하며, 이진 과제 보상으로 학습한 공유 정책의 학습 성공률이 98.2%로 과제별 개별 정책 81.4%보다 높음
- 조립 부품은 4mm까지 작고 너트가 기울면 걸리거나 나사산이 어긋나는데, 정책은 사람의 시연 없이 시뮬레이션에서 부분 조립 상태를 시작점으로 삼아 학습함
- Success-guided sampling은 정책이 약 절반 정도 푸는 시작 상태를 더 자주 골라서 연습시키고, 새 결과에 따라 샘플링 가중치를 갱신함
- 학습된 로봇은 커넥터를 보드 면에 대고 돌리거나 중간 크기 기어를 옆에서 잡아 세우고, M12 너트를 가장자리부터 굴려 평평한 면에 올리는 등 사람이 가르치지 않은 조작을 보여줌
- 보상에 도달과 정렬 항목을 더하면 성공률이 떨어지고, 실물 로봇 전이는 아직 보여주지 않으며 코드는 곧 공개될 예정임
Hacker News opinions
시뮬에서 로봇이 너트 조이는 거 보면 재밌긴 한데 실제 세상에서는 절대 안 될 것 같음.
실제 로봇 롤아웃을 수십만 번 돌리면 부품 치우고 로봇이 부수는 것 감당이 안 됨. 그래서 롤아웃 수를 줄여야 실물에 넘어갈 수 있을 듯.
그건 sim2real에 distillation 기반 전이를 써서 실물에서 먼저 롤아웃 안 해도 된다는 뜻임. sgs-rl.github.io에 전이 예시 있음. 다만 그건 NIST 보드보다 단순한 세팅임.
이거 NVIDIA랑 UW 논문인데 이름이 AlphaNIST인 건 좀 이상함. 알파는 원래 구글 딥마인드 느낌인데 RL이랑 무슨 상관임?
NIST는 National Institute of Standards and Technology 얘기임. 조립 과제 보드 이름이 NIST 보드라서 거기서 따온 것 같음.
저자 중 한 명인데, 이름은 David Silver 팀의 2016에서 2018 사이 작업에 대한 오마주임. 실물 하드웨어 전이는 이 논문에서 아직 안 보여줬음.
starting state를 여러 지점에서 시작하고 성공률 기반으로 샘플링하는 아이디어가 신선해 보임. 커리큘럼 학습이랑 비슷한데 PLR 같은 방법이랑 비교도 해둠.
로봇이 입력으로 point cloud를 보는 거 맞음? 속도 빼고 시뮬 상태 전체를 보는 것 같은데, 한계 섹션에 지각 오류랑 접촉 모델 차이에 대한 강건성은 증명 안 했다고 적혀 있음.