心理的苦悩における身体のジェスチャーと自己適応行動の自動分析

心理的苦悩は社会において重要な問題であり、その影響は年々増大しています。このような苦悩の自動検出、評価、分析は現在、活発な研究分野となっています。顔、頭部、声などのモダリティと比較して、これらのタスクに身体モダリティを使用する研究は相対的に少ないです。これは部分的に、利用可能なデータセットが限られていることや、有用な身体特徴を自動的に抽出することが困難であるためです。最近の姿勢推定と深層学習の進歩により、このモダリティと領域に対する新しいアプローチが可能になりました。本研究を促進するために、私たちは短いインタビューや自己報告による苦悩ラベルを含む全身映像の新しいデータセットを収集し分析しました。私たちは自己適応行動（self-adaptors）およびその一部である神経質な動き（fidgeting）を自動的に検出する新規手法を提案します。これらの行動は心理的苦悩との関連性が示されています。統計的な身体ジェスチャーや神経質な動きの特徴について分析を行い、苦悩レベルが参加者の行動にどのように影響を与えるかを探ります。さらに、音響・視覚特徴量と自動検出した神経質な動きの行動指標を組み合わせる多様性融合アプローチを提案します。このアプローチでは、多様性融合深層デノイジングオートエンコーダー（Multi-modal Deep Denoising Auto-Encoders）と改良されたフィッシャーベクトル符号化（Improved Fisher Vector Encoding）を使用します。私たちの提案モデルが自己報告による不安やうつ病のレベルでラベル付けされたデータセットにおいて苦悩レベルを成功裏に予測できることを示しています。以上のように、本研究では心理的苦悩の検出と分析における新たな方法論を開発し、その有効性を実証しています。