대규모 시점 변동 RGB-D 행동 데이터셋: 임의 시점 인간 행동 인식을 위한

현재의 행동 인식 연구는 주로 단일 뷰와 다중 뷰 인식에 초점을 맞추고 있으며, 이는 인간-로봇 상호작용(HRI) 응용 프로그램이 임의의 뷰에서 행동을 인식하는 요구사항을 충족시키기 어렵다는 문제를 가지고 있습니다. 또한 데이터셋 부족은 이러한 연구에 장벽을 형성하고 있습니다. 임의 뷰 행동 인식을 위한 데이터를 제공하기 위해, 우리는 8개 고정된 시점과 전체 360도 시각 각도를 포함하는 변화하는 시점 시퀀스를 촬영한 대규모 RGB-D 행동 데이터셋을 새로 수집하였습니다. 이 데이터셋은 RGB 비디오, 깊이 및 스켈레톤 시퀀스를 포함하며, 총 118명의 참가자가 40개의 행동 카테고리를 수행하여 25,600개의 비디오 샘플이 수집되었습니다. 우리의 데이터셋은 더 많은 참가자, 더 많은 시점 및 대량의 샘플을 포함하고 있습니다. 더욱 중요한 점은, 이 데이터셋이 처음으로 전체 360도 변화하는 시점 시퀀스를 포함하고 있다는 것입니다. 이 데이터셋은 다중 뷰, 크로스 뷰 및 임의 뷰 행동 분석에 충분한 데이터를 제공합니다. 또한, 우리는 임의 뷰 행동 인식 문제를 해결하기 위해 View-guided Skeleton CNN(VS-CNN)을 제안하였습니다. 실험 결과는 VS-CNN이 우수한 성능을 보임을 입증하였습니다.