보조 작업이 3D 스켈레톤 기반 인간 운동 예측에 기여한다

관측된 운동에서 공간-시간적 종속성을 탐구하는 것은 인간 운동 예측의 핵심 과제 중 하나이다. 기존의 방법들은 공간적 및 시간적 종속성을 모델링하기 위해 전용 네트워크 구조에 주로 초점을 맞추었다. 본 논문은 보조 작업을 도입한 모델 학습 프레임워크를 제안함으로써 새로운 방향성을 제시한다. 제안하는 보조 작업에서는 신체 관절의 일부 좌표를 마스킹하거나 노이즈를 추가하여 손상시키고, 나머지 좌표를 기반으로 손상된 좌표를 복원하는 것을 목표로 한다. 이러한 보조 작업과 함께 작동할 수 있도록, 우리는 공간-시간적 종속성을 포착함으로써 불완전하거나 손상된 운동 데이터를 처리하고 좌표 복원을 달성할 수 있는 새로운 보조 작업 적합형 트랜스포머((auxiliary-adapted transformer)를 제안한다. 보조 작업을 통해 보조 작업 적합형 트랜스포머는 신체 관절 좌표 간의 보다 포괄적인 공간-시간적 종속성을 학습하게 되어, 더 우수한 특징 학습이 가능해진다. 광범위한 실험 결과는 본 방법이 Human3.6M, CMU Mocap, 3DPW 데이터셋에서 각각 3D 평균 관절 위치 오차(MPJPE) 기준으로 최첨단 기법보다 각각 7.2%, 3.7%, 9.4%의 뚜렷한 성능 향상을 보였음을 입증한다. 또한 본 방법이 데이터 누락 상황과 노이즈가 있는 데이터 상황에서도 더 뛰어난 강건성을 보임을 실험적으로 확인하였다. 코드는 https://github.com/MediaBrain-SJTU/AuxFormer 에서 공개되어 있다.