EV-Action: 電気筋活動-ビジョン多モーダルアクションデータセット

多モーダルの人間行動分析は重要な研究課題であり、多くの研究者が注目しています。しかし、既存のデータセットの多くは視覚的なモーダリティ（RGB、深度、骨格）のみを提供しています。これを補うために、本研究ではRGB、深度、筋電図（EMG）、および2つの骨格モーダリティを含む大規模な新しいデータセットEV-Actionを紹介します。従来のデータセットと比較して、EV-Actionデータセットには以下の2つの大きな改善点があります：(1) 高品質な骨格モーダリティを取得するためにモーションキャプチャシステムを導入しました。これにより、より包括的な運動情報を提供し、骨格、軌跡、加速度などの精度が向上し、サンプリング周波数も高まりました。さらに、より多くの骨格マーカーを使用しています。(2) 生体力学分野で効果的な指標としてよく使用されるEMGモーダリティを導入しました。ただし、運動関連の研究ではまだ十分に探索されていません。当該研究においてこれがEMGモーダリティを持つ最初の行動データセットであると認識しています。EV-Actionデータセットの詳細について説明するとともに、単純ながら効果的なEMGに基づく行動認識フレームワークを提案します。さらに、最先端のベースライン手法を使用してすべてのモーダリティの有効性を評価しました。得られた結果は明確にEMGモーダリティが人間行動分析タスクにおいて有効であることを示しています。私たちはこのデータセットが人間運動分析、コンピュータビジョン、機械学習、生体力学など他の学際的分野にも大きな貢献をすることができると期待しています。