지시어 기반의 역사 인식 정책을 통한 로봇 조작

인간 환경에서 로봇은 간단한 자연어 지시를 통해 다양한 조작 작업을 수행할 것으로 기대됩니다. 그러나 로봇 조작은 미세한 모터 제어, 장기 기억, 그리고 이전에 본 적 없는 작업과 환경에 대한 일반화가 필요하기 때문에 매우 어려운 문제입니다. 이러한 도전 과제를 해결하기 위해, 우리는 여러 입력을 고려하는 통합된 트랜스포머 기반 접근 방식을 제안합니다. 특히, 우리의 트랜스포머 아키텍처는 (i) 자연어 지시와 (ii) 다중 시점 장면 관찰을 통합하면서 (iii) 관찰과 행동의 전체 이력을 추적합니다. 이러한 접근 방식은 이력과 지시 사이의 의존성을 학습하고 여러 시점을 사용하여 조작 정밀도를 향상시키는 데 도움이 됩니다. 우리는 이 방법을 어려운 RLBench 벤치마크와 실제 로봇에서 평가했습니다. 특히, 우리의 접근 방식은 74개의 다양한 RLBench 작업으로 확장되며 기존 최신 기술보다 우수한 성능을 보입니다. 또한 지시 조건부 작업에도 대응하며, 이전에 본 적 없는 변형에 대한 뛰어난 일반화 능력을 입증하였습니다.