HDBN：ロバストな骨格ベース行動認識のための新規ハイブリッド二重枝分岐ネットワーク

骨格ベースの行動認識は、簡潔かつ堅牢な骨格表現を活用する点から、近年注目を集めています。しかしながら、現在の手法はしばしば単一のバックボーンネットワークを用いて骨格モダリティをモデル化する傾向にあり、これによりネットワークバックボーン固有の限界が生じる場合があります。こうした課題を克服し、異なるネットワークアーキテクチャが持つ補完的な特性を最大限に活かすために、本研究では、グラフ畳み込みネットワーク（GCN）がグラフ構造データを効果的に処理できる点と、Transformerがグローバルな情報に優れたモデリング能力を持つ点を活かした、新たなハイブリッド・デュアルブランチネットワーク（HDBN）を提案します。具体的には、本提案するHDBNは、MixGCNとMixFormerという2つの本体ブランチに分かれています。これらのブランチは、それぞれGCNとTransformerを用いて2次元および3次元の骨格モダリティをモデル化します。提案したHDBNは、2024年ICMEグランドチャレンジにおける「マルチモーダル動画推論・分析コンペティション（MMVRAC）」でトップクラスの性能を発揮し、UAV-Humanデータセットの2つのベンチマークにおいて、それぞれ47.95%および75.36%の精度を達成し、多数の既存手法を上回りました。本研究のコードは、以下のURLにて公開される予定です：https://github.com/liujf69/ICMEW2024-Track10。