2달 전

HP-GAN: GAN을 통한 확률적 3D 인간 운동 예측

Emad Barsoum; John Kender; Zicheng Liu
HP-GAN: GAN을 통한 확률적 3D 인간 운동 예측
초록

인간 운동 역학의 예측과 이해는 모션 합성, 증강 현실, 보안, 자율 주행 차량 등 다양한 응용 분야에서 활용될 수 있습니다. 최근 생성적 적대 신경망(GAN)의 성공으로 인해, 딥 뉴럴 네트워크 구조와 학습 알고리즘을 사용한 확률적 추정 및 합성 데이터 생성에 대한 관심이 크게 증가하였습니다.본 연구에서는 확률적인 인간 운동 예측을 위한 새로운 시퀀스-투-시퀀스 모델을 제안합니다. 이 모델은 개선된 Wasserstein 생성적 적대 신경망(WGAN-GP)의 수정된 버전으로 훈련되며, 인간 운동 예측을 위해 설계된 맞춤 손실 함수를 사용합니다. 우리가 HP-GAN이라고 명명한 이 모델은 과거 포즈에 조건부로 미래 포즈의 확률 밀도 함수를 학습합니다. 동일한 입력 시퀀스에서 서로 다른 임의 분포에서 추출된 벡터 z를 사용하여 여러 가능한 미래 포즈 시퀀스를 예측합니다. 또한 비결정론적 예측의 품질을 측정하기 위해, 주어진 스켈레톤 시퀀스가 실제 인간 운동일 확률을 학습하는 운동 품질 평가 모델을 동시에 훈련시킵니다.우리는 가장 큰 두 스켈레톤 데이터셋인 NTURGB-D와 Human3.6M에서 알고리즘을 테스트하였습니다. 단일 행동 유형과 다중 행동 유형 모두에 대해 모델을 훈련시켰습니다. 10프레임의 입력으로부터 30프레임 이상의 여러 가능한 미래를 생성함으로써 장기 운동 추정에 대한 예측 능력을 입증하였습니다. 우리는 동일한 입력에서 생성된 대부분의 시퀀스가 실제 인간 시퀀스로 판단될 확률이 50% 이상임을 보여주었습니다. 본 논문에서 사용한 모든 코드는 Github에 공개할 계획입니다.