EmotiCon: フレーゲの原理を用いた文脈認識型多モーダル感情認識

私たちはEmotiConという学習ベースのアルゴリズムを提案します。このアルゴリズムは、ビデオと画像から文脈に応じた認識された人間の感情を識別するものです。心理学者フレゲの文脈原則に触発され、当方針では感情認識のために3つの文脈解釈を組み合わせています。最初の解釈は、複数のモダリティ（例えば顔や歩行）を使用して感情を認識することに基づいています。2番目の解釈では、入力画像から意味論的な文脈情報を収集し、自己注意機構を用いたCNNでこれを符号化します。最後に、深度マップを使用して、エージェント間の社会動力学的相互作用や近接性に関連する3番目の解釈をモデル化します。当ネットワークの効率性はEMOTICというベンチマークデータセットでの実験を通じて示されています。26クラス全体で平均精度（Average Precision: AP）スコアが35.48であり、既存手法よりも7-8ポイント向上しています。また、GroupWalkという新しいデータセットも紹介します。これは、人々が歩いている複数の実世界設定で撮影されたビデオを集めたものです。GroupWalkにおいて4カテゴリー全体でAPスコアが65.83であり、これも既存手法よりも改善しています。