補助タスクが3D スケルトンベースの人体運動予測に寄与する

観測された運動から空間時系列的依存関係を捉えることは、人間の運動予測における核心的な課題の一つである。従来の手法は、空間的および時系列的依存関係をモデル化するための専用のネットワーク構造に主眼を置いてきた。本論文では、補助タスクを導入したモデル学習フレームワークという新たなアプローチを提案する。本研究の補助タスクでは、体の一部の関節座標に対してマスキングまたはノイズの付加によって汚損を行い、残りの座標に基づいて汚損された座標を復元することを目的とする。この補助タスクに対応するため、不完全で汚損された運動データを扱い、空間時系列的依存関係を捉えることで座標の復元を実現する、新しい「補助適応型トランスフォーマー（auxiliary-adapted transformer）」を提案する。補助タスクを通じて、補助適応型トランスフォーマーは関節座標間のより包括的な空間時系列的依存関係を捉える能力が向上し、結果としてより優れた特徴学習が可能となる。広範な実験結果から、本手法はHuman3.6M、CMU Mocap、3DPWの各データセットにおいて、3D平均関節位置誤差（MPJPE）の指標で、それぞれ7.2%、3.7%、9.4%の顕著な優位性を示し、最先端手法を上回ることを確認した。また、データ欠損やノイズ混在の状況下でも、本手法がより高いロバスト性を示すことも実証した。コードは https://github.com/MediaBrain-SJTU/AuxFormer にて公開されている。