2ヶ月前

多層空間時間アンカーによる多様な人間動作予測

Sirui Xu; Yu-Xiong Wang; Liang-Yan Gui
多層空間時間アンカーによる多様な人間動作予測
要約

過去のポーズのシーケンスが与えられた場合の人間の多様な動きを予測する研究が注目を集めています。急速な進歩にもかかわらず、既存の研究では主に尤度に基づくサンプリングによって人間の動きの多峰性(multi-modal nature)を捉えており、モード崩壊(mode collapse)が広く観察されています。本論文では、ランダムにサンプリングされたコードを決定論的な学習可能なコンポーネントであるアンカーズと分離することで、サンプル精度と多様性を向上させる単純かつ効果的な手法を提案します。さらに、アンカーズは空間アンカーズと時間アンカーズに分解され、これにより空間・時間的な差異に対する解釈可能な制御が提供されます。原理的には、我々の空間・時間アンカーズベースのサンプリング(STARS: Spatial-Temporal Anchor-based Sampling)は異なる動作予測器に適用可能です。ここでは、人間の動きに関する事前知識(例:空間局所性)を符号化する相互作用強化型空間・時間グラフ畳み込みネットワーク(IE-STGCN: Interaction-Enhanced Spatial-Temporal Graph Convolutional Network)を提案し、その中にアンカーズを取り入れます。広範な実験結果から、我々の手法は確率的および確定的な予測においてともに最先端を超える性能を示しており、人間の動きモデリングにおける統一フレームワークとして提唱されることが示唆されます。当該コードおよび事前学習済みモデルは https://github.com/Sirui-Xu/STARS で公開されています。

多層空間時間アンカーによる多様な人間動作予測 | 最新論文 | HyperAI超神経