2ヶ月前

IGFormer: 骨格ベースの人間相互作用認識のためのインタラクショングラフトランスフォーマー

Pang, Yunsheng ; Ke, Qiuhong ; Rahmani, Hossein ; Bailey, James ; Liu, Jun
IGFormer: 骨格ベースの人間相互作用認識のためのインタラクショングラフトランスフォーマー
要約

人間の相互作用認識は多くの応用において非常に重要です。相互作用を認識する際の重要な手がかりの一つは、相互作用に関与する体の部位です。本研究では、骨格情報を基にした相互作用認識のために、相互作用に関与する体の部位をグラフとしてモデル化する新しいネットワークであるインタラクション・グラフ・トランスフォーマー(IGFormer)を提案します。より具体的には、提案されたIGFormerは、相互作用に関与する体の部位間の意味的および距離的な相関に基づいて相互作用グラフを構築し、学習されたグラフに基づいて各人物の表現を強化するために、相互作用に関与する体の部位の情報を集約します。さらに、我々はセマンティック・パーティション・モジュールを提案し、各ヒューマン・スケルトン・シーケンスをボディ・パート・タイム・シーケンスに変換することで、骨格シーケンスの空間的および時間的情報をよりよく捉え、グラフ学習を行うことを可能とします。三つのベンチマークデータセットにおける広範な実験により、当モデルが現行最先端技術に対して大幅に優れていることが示されました。