3ヶ月前
重要であることを覚える:人間の運動予測のための因子化されたマルチヘッド検索と補助メモリ安定化スキーム
Tharindu Fernando, Harshala Gammulle, Sridha Sridharan, Simon Denman, Clinton Fookes

要約
人間の運動は、実行しているタスクや相互作用の種類、さらには個人特有の好みによって多様に変化するため、過去の運動履歴に基づいて将来の姿勢を予測することは極めて困難な課題である。本論文では、歴史的知識のモデリングを向上させるため、補助記憶(auxiliary memory)を活用した深層ニューラルネットワークフレームワークを提案する。具体的には、観測された姿勢シーケンスから個人特有の情報、タスク特有の情報、およびその他の補助情報を分離(disentangle)し、その因子化された特徴量を用いて記憶領域を照合する。新規に提案するマルチヘッド知識検索(Multi-Head knowledge retrieval)機構は、これらの因子化された特徴埋め込みを用いて、補助記憶に格納された過去の観測データに対して複数の照合操作を実行する。さらに、本研究で導入する動的マスキング(dynamic masking)戦略により、特徴の分離プロセスを動的に制御することが可能となる。また、補助記憶内の多様性を促進しつつ、記憶内容の安定性を確保するための2つの新規損失関数を導入しており、これにより、データの不均衡や入力データ分布の多様性にかかわらず、将来の運動を長期にわたって予測する上で有効な重要な情報を記憶・検索できるようになっている。Human3.6MおよびCMU-Mocapという2つの公開ベンチマーク上で実施した広範な実験の結果、本手法は現在の最先端技術を大きく上回ることが示された。具体的には、Human3.6Mデータセットにおいて17%以上、CMU-Mocapデータセットにおいて9%以上の性能向上が達成された。