2ヶ月前

相互作用関係ネットワークによる相互行動認識

Perez, Mauricio ; Liu, Jun ; Kot, Alex C.
相互作用関係ネットワークによる相互行動認識
要約

人間の相互作用認識(インタラクション認識とも呼ばれる)は、人間活動分析における重要な研究分野の一つです。現在のこの分野での解決策は、主にCNN(畳み込みニューラルネットワーク)、GCN(グラフ畳み込みニューラルネットワーク)、LSTM(長短期記憶)によって主導されており、多くの場合、複雑なアーキテクチャとメカニズムを用いて二人の人物間の関係性をアーキテクチャ自体に埋め込むことで、相互作用パターンが適切に学習されるようにしています。本研究における私たちの主要な貢献は、より単純でありながら非常に強力なアーキテクチャである Interaction Relational Network (IRN) を提案することです。このアーキテクチャは、人間の身体構造に関する最小限の事前知識のみを使用します。ネットワークを駆動して、相互作用する個体間でどのように身体部位が関連付けられるかを自ら識別させることを目指しています。相互作用をより正確に表現するために、二つの異なる関係性を定義し、それぞれに対応した専門的なアーキテクチャとモデルを開発しました。これらの複数の関係性モデルはその後、両方の情報ストリームを活用して関係性推論能力をさらに向上させるために、単一かつ特別なアーキテクチャに融合されます。さらに、各ジョイントペアから意味のある追加情報を抽出するための重要な構造化された対称操作(距離と動き)を定義しました。最終的に、LSTMとの組み合わせにより、我々のIRNは卓越した逐次的な関係性推論能力を持つことができます。我々がネットワークに対して行ったこれらの重要な拡張は、洗練された関係性推論が必要な他の問題にも価値があると考えられます。我々のソリューションは伝統的な相互作用認識データセットSBUおよびUTにおいて最先端の性能を達成しており、大規模データセットNTU RGB+Dにおける相互動作についても同様です。また、NTU RGB+D 120データセットの相互作用サブセットにおいても競争力のある性能を得ています。