다중 인물 극단적 운동 예측

인간 운동 예측은 과거의 3D 스켈레톤 시퀀스가 주어졌을 때 미래의 자세를 예측하는 것을 목표로 합니다. 이 문제는 최근에 점점 더 많은 관심을 받고 있지만, 대부분은 단일 인간이 고립된 상태에서 수행되는 경우에 대해 다루어져 왔습니다. 본 논문에서는 협력적인 작업을 수행하는 인간들에 대한 이 문제를 탐구하며, 두 사람의 과거 스켈레톤 시퀀스가 주어졌을 때 두 사람이 상호작용하는 미래의 운동을 예측하려고 합니다. 우리는 두 자세 시퀀스 간의 상호 의존성을 학습하고, 두 사람 모두의 역사적 정보를 활용할 수 있는 새로운 크로스 인터랙션 어텐션 메커니즘을 제안합니다. 이러한 상호 작용 상황을 훈련시키기 위한 데이터셋이 없었기 때문에, 우리는 ExPI (Extreme Pose Interaction)라는 새로운 실험실 기반 개인 상호 작용 데이터셋을 수집했습니다. 이 데이터셋은 린지홉 춤 동작을 수행하는 전문 댄서들의 115개 시퀀스와 3D 신체 자세 및 형태로 주석된 30K 프레임을 포함하고 있습니다. 우리는 ExPI에서 우리의 크로스 인터랙션 네트워크를 철저히 평가하였으며, 단기 및 장기 예측 모두에서 단일 인간 운동 예측에 대한 최신 방법들을 일관되게 능가함을 보여주었습니다.