H2O: 제1인칭 상호작용을 위한 두 손으로 물체 조작 인식

우리는 마커를 사용하지 않는 두 손이 물체를 조작하는 3D 주석을 활용한 제고 중심 상호작용 인식에 대한 포괄적인 프레임워크를 제시합니다. 이를 위해, 우리는 제고 중심 3D 상호작용 인식을 위한 통합 데이터셋 생성 방법을 제안합니다. 우리의 방법은 각 프레임의 두 손의 3D 자세와 조작된 물체의 6D 자세, 그리고 그들의 상호작용 라벨을 생성합니다. 우리의 데이터셋은 H2O (2 Hands and Objects)라고 불리며, 동기화된 다중 시점 RGB-D 이미지, 상호작용 라벨, 물체 클래스, 왼손과 오른손의 실제 3D 자세, 6D 물체 자세, 실제 카메라 자세, 물체 메시 및 장면 포인트 클라우드를 제공합니다. 최선의 지식으로는, 이는 양손의 자세를 활용하여 제일인칭 행동을 연구할 수 있는 첫 번째 벤치마크이며, 제고 중심 3D 상호작용 인식에 있어 전례 없는 세부 수준을 제공합니다. 또한 우리는 RGB 이미지에서 두 손의 3D 자세와 조작된 물체의 6D 자세를 공동으로 추정하여 상호작용 클래스를 예측하는 방법을 제안합니다. 우리의 방법은 그래프 컨볼루셔널 네트워크가 상호작용을 예측하도록 학습하는 그래프 토폴로지를 모델링하여 양손과 물체 간의 상호 및 내부 의존성을 모두 고려합니다. 우리는 이 데이터셋 덕분에 우리의 방법이 공동 손-물체 자세 추정에 강력한 기준점을 설정하고, 제일인칭 상호작용 인식에서 최상의 정확도를 달성함을 보여줍니다.