要約
感情理解は人工一般知能の重要な要素であるが、その達成は非常に困難な課題となっています。広範にアノテーションされたデータセットの欠如により、この分野での進歩が大幅に阻害されてきました。本稿では、EmotionCLIPを提案します。これは、非キュレーションデータのみを使用して、言語的および非言語的コミュニケーションから視覚的感情表現を抽出する最初の事前学習パラダイムです。従来の手法で使用される数値ラベルや説明と比較して、コミュニケーションには自然に感情情報が含まれています。さらに、コミュニケーションから感情表現を取得することは、人間の学習過程とより一致しています。私たちは、主題認識コンテキストエンコーディングを通じて非言語的感情手がかりに注目し、感情ガイド対照学習を使用して言語的感情手がかりに注目させるEmotionCLIPを開発しました。多数の実験によってEmotionCLIPの有効性と転移可能性が検証されています。単純な線形プローブ評価プロトコルを使用した場合でも、EmotionCLIPは最先端の教師あり視覚的感情認識手法を上回り、さまざまなベンチマークにおいて多くの多モーダルアプローチと匹敵します。私たちはEmotionCLIPの登場が感情理解におけるデータ不足問題を解決し、関連分野での進展を促進することを期待しています。コードと事前学習済みモデルはhttps://github.com/Xeaver/EmotionCLIPで利用可能です。