ベンチマーキング マイクロアクション認識：データセット、手法、および応用

マイクロアクションは、低強度の動きを特徴とする知覚されにくい非言語的な行動です。この行動は個人の感情や意図についての洞察を提供し、感情認識や心理評価などの人間中心のアプリケーションにおいて重要な役割を果たします。しかし、これらの微妙な人間の行動が日常生活で知覚されにくく、アクセスしづらいことから、マイクロアクションの識別、差異化、理解には課題があります。本研究では、新たに「マイクロアクション-52（MA-52）」という新しいマイクロアクションデータセットを収集し、「マイクロアクションネットワーク（MANet）」と呼ばれるベンチマークを提案しました。このデータセットは、ジェスチャーや上肢・下肢の動きなど、全身的な視点を取り入れることで包括的なマイクロアクションの手がかりを明らかにしようと試みています。詳細には、MA-52には52種類のマイクロアクションカテゴリーと7つの身体部位ラベルが含まれており、現実的かつ自然なマイクロアクションの全範囲をカバーしています。これは205人の参加者から得られた22,422件のビデオインスタンスを集めた心理インタビューに基づいています。提案されたデータセットを使用して、MANetおよびその他の9つの一般的な動作認識手法を評価しました。MANetはResNetアーキテクチャにスクリーズ・アンド・エキテーション（SE）と時間シフトモジュール（TSM）を取り入れることで、マイクロアクションの空間時間特性をモデル化しています。その後、ビデオと動作ラベル間の意味論的マッチングのためにジョイント埋め込み損失関数が設計されました。この損失関数は視覚的に似ているが異なるマイクロアクションカテゴリー間での区別をより正確に行うために使用されます。感情認識への拡張応用では、提案したデータセットと手法が持つ重要な価値の一端が示されました。今後は、人間の行動や感情、心理評価に関するさらなる探求が行われる予定です。データセットとソースコードはhttps://github.com/VUT-HFUT/Micro-Action で公開されています。