RGBD 영상에서 3D 인간 자세 추정을 통한 로봇 작업 학습

우리는 단일 RGBD 이미지에서 실제 단위로 3D 인간 자세를 추정하는 방법을 제안하고, 이 방법이 색상에서의 단안 3D 자세 추정 접근 방식뿐만 아니라 깊이만으로 이루어진 자세 추정에도 비해 성능이 우수함을 보여줍니다. 우리의 접근 방식은 색상 이미지에 대한 강건한 인간 키포인트 검출기 기반으로 구축되며, 3D로 변환하기 위해 깊이 정보를 통합합니다. 우리는 이 시스템을 데모 학습 프레임워크와 결합하여 마커가 필요하지 않은 서비스 로봇을 지시할 수 있습니다. 실제 환경에서 수행된 실험들은 우리의 접근 방식이 PR2 로봇이 인간 교사로부터 관찰된 조작 동작을 모방하도록 가능하게 함을 입증합니다.