PGformer: 프록시 연결 게임 트랜스포머를 이용한 다중 인물 고도 상호작용 극단적 운동 예측

다중 인물 운동 예측은 특히 높은 상호작용을 가진 실제 세계 시나리오에서 어려운 과제입니다. 대부분의 이전 연구는 약한 상호작용(예: 함께 걷기)의 경우에 집중되어 왔으며, 이 경우 각 인간의 자세를 독립적으로 예측하여 여전히 좋은 성능을 달성할 수 있습니다. 본 논문은 극단적인 운동을 하는 다수의 인물 간 협력적 운동 예측에 중점을 두고, 높은 상호작용을 가진 인물들의 자세 궤도 사이의 관계를 탐구하려고 합니다. 이를 위해 새로운 크로스-쿼리 주의(XQA) 모듈이 제안되어 이 상황에 맞춰 두 자세 시퀀스 간의 양방향 종속성을 학습합니다. 또한 관련된 인물을 연결하기 위해 프록시 유닛이 도입되었으며, 이 유닛은 제안된 XQA 모듈과 협력하여 양방향 공간 정보 흐름을 미묘하게 조절합니다. 이러한 설계들은 트랜스포머 기반 아키텍처에 통합되어 다중 인물 상호작용 운동 예측을 위한 프록시-브릿지 게임 트랜스포머(PGformer) 모델이 생성되었습니다. PGformer의 효과는 높은 상호작용 동작을 포함하는 어려운 ExPI 데이터셋에서 평가되었습니다. 실험 결과, PGformer는 단기 및 장기 예측 모두에서 최신 방법들을 크게 능가하는 성능을 보였습니다. 또한, 우리의 접근 방식은 약한 상호작용을 가진 CMU-Mocap 및 MuPoTS-3D 데이터셋에서도 호환되며, 2명 이상의 개인에게 확장될 수 있으며 격려할 만한 결과를 보여주었습니다.