要約
私たちは、複数のセンサモダリティをサポートする単純でありながら効果的で柔軟な行動認識方法を提案します。多変量信号シーケンスは画像にエンコードされ、その後、最近提案されたEfficientNet CNNアーキテクチャを使用して分類されます。私たちの焦点は、特定の適応なしに異なるセンサモダリティ間で良好に一般化するアプローチを見つけることでした。それでも良い結果を得られるようにすることも重要な目標でした。本手法を、最大120の行動クラスを含む骨格シーケンス、慣性および動作捕捉測定値、Wi-Fiフィンガープリントから構成される4つの行動認識データセットに適用しました。本手法はNTU RGB+D 120データセットにおける現在最良のCNNベースのアプローチを定義し、ARIL Wi-Fiデータセットでは最新技術（+6.78%）、UTD-MHAD慣性基準では+14.4%、UTD-MHAD骨格基準では1.13%の向上を達成しました。さらに、Simitate動作捕捉データ（80/20分割）では96.11%の精度を達成しています。また、信号レベルでのモダリティ融合と過剰な表現からの信号削減に関する実験も示しています。