BeLFusion: 행동 기반 인간 운동 예측을 위한 잠재 확산 모델

확률적 인간 운동 예측(HMP)은 일반적으로 생성적 적대 네트워크와 변분 오토인코더를 사용하여 해결되었습니다. 대부분의 이전 연구는 골격 관절의 분산 측면에서 매우 다양한 움직임을 예측하는 것을 목표로 하였습니다. 이로 인해 빠르고 움직임이 발산하는 움직임을 예측하는 방법들이 개발되었는데, 이러한 움직임들은 종종 현실적이지 않고 과거의 움직임과 일관성이 부족합니다. 또한 이러한 방법들은 미세한 관절 이동을 동반하는 다양한 저범위 행동이나 동작을 예측해야 하는 상황을 간과하고 있습니다. 이러한 문제들을 해결하기 위해, 우리는 BeLFusion이라는 모델을 제시합니다. BeLFusion은 처음으로 HMP에서 잠재 확산 모델을 활용하여 행동과 자세 및 운동이 분리된 잠재 공간에서 샘플링을 수행합니다. 그 결과, 행동 측면에서 다양성이 강화됩니다. 우리의 행동 결합기(behavior coupler)가 샘플링된 행동을 현재 진행 중인 운동으로 전송할 수 있는 능력 덕분에, BeLFusion의 예측은 현존하는 최고 기술보다 훨씬 더 현실적인 다양한 행동들을 보여줍니다. 이를 지원하기 위해, 126명의 참가자와 함께 수행한 질적 연구에 따라 현실성 정의와 상관관계가 있는 두 가지 지표인 누적 운동 분포 영역(Area of the Cumulative Motion Distribution)과 평균 쌍별 거리 오류(Average Pairwise Distance Error)를 도입하였습니다. 마지막으로, 우리는 새로운 크로스 데이터셋 시나리오에서 BeLFusion의 일반화 능력을 증명하였습니다.