2ヶ月前
PGformer: Proxy-Bridged Game Transformer for Multi-Person Highly Interactive Extreme Motion Prediction PGformer: プロキシ橋渡しゲームトランスフォーマーによる多人数の高度な相互作用極端運動予測
Fang, Yanwen ; Chen, Jintai ; Jiang, Peng-Tao ; Li, Chao ; Geng, Yifeng ; Lam, Eddy K. F. ; Li, Guodong

要約
多人動作予測は、特に高密度に相互作用する人々の実世界シナリオにおいて、非常に困難な課題です。これまでの多くの研究では、弱い相互作用(例:一緒に歩く)の場合に焦点を当てており、個々の人間の姿勢を独立して予測することで依然として良好な性能が得られることを示しています。本論文では、極端な動作を持つ複数人の協調的な動作予測に焦点を当て、高密度に相互作用する人々の姿勢軌道間の関係性を探求することを目指しています。具体的には、この状況に特化した2つの姿勢シーケンス間の相互依存関係を双方向的に学習するための新しいクロスクエリアテンション(XQA)モジュールが提案されています。さらに、関連する人物間を橋渡しするプロキシユニットが導入され、これは提案されたXQAモジュールと協力して双方向的な空間情報フローを微妙に制御します。これらの設計はトランスフォーマーに基づくアーキテクチャに統合され、結果得られたモデルは「Proxy-bridged Game Transformer (PGformer)」と呼ばれています。このモデルは多人数の相互作用的な動作予測のために使用されます。その有効性は高密度な相互作用行動を含む難易度の高いExPIデータセットで評価されました。我々のPGformerは短中期および長期予測において大幅に最新手法を上回る性能を示しており、一貫して優れた結果を得ています。また、我々の手法は弱い相互作用を持つCMU-MocapやMuPoTS-3Dデータセットとも互換性があり、2人以上の個人の場合にも拡張可能であり、有望な結果が得られています。