Fusion-GCN: グラフ畳み込みネットワークを用いた多モーダル行動認識

本論文では、Graph Convolutional Networks（GCNs）を用いた多モーダル行動認識の手法であるFusion-GCNを提案します。最近、GCNsに基づく行動認識手法は、骨格ベースの行動認識において最先端の性能を達成しています。Fusion-GCNでは、さまざまなセンサデータモーダルをグラフに統合し、このグラフをGCNモデルで学習することで多モーダル行動認識を行うことを提案します。追加のセンサ測定値は、チャネル次元（追加のノード属性の導入）または空間次元（新しいノードの導入）でグラフ表現に組み込まれます。Fusion-GCNは、公開されている2つのデータセット、UTD-MHADおよびMMACTデータセットで評価されました。RGBシーケンス、慣性測定値、骨格シーケンスなどの柔軟な融合を示しており、UTD-MHADデータセットでは同等の結果を得ています。また、大規模なMMACTデータセットでは、骨格推定と加速度計測定値の融合により、ベースラインに対して最大12.37%（F1値）改善するという著しい成果を上げています。