皮肉における感情認識のためのマルチモーダルコーパス

感情および感情分析は広く研究されてきたが、皮肉と感情の関係についてはほとんど未解明のままである。皮肉な表現には多様な裏側の感情が隠れていることがある。たとえば、「無視されるのが大好きだ」という発言には悲しみが、また「バッテリー持続時間がわずか15分のスマホは本当に素晴らしい！」という発言には不満が込められている。皮肉な表現の背後にある感情を検出することは容易ではないが、極めて重要な課題である。本研究では、皮肉表現における感情の検出という、知られている限りではこれまで未解決の課題に取り組む。我々は、最近公開されたマルチモーダル皮肉検出データセット（MUStARD）を用い、事前に9つの感情ラベルが付与されている。その中から343件の誤った感情ラベル（全690件のうち）を特定・修正し、データセットのサイズを2倍に拡大した。さらに、感情の強度を示す重要な指標である「評価価値（valence）」と「覚醒度（arousal）」を追加して感情ラベルを付与した。また、皮肉の種類として「命題的（Propositional）」「埋め込み型（Embedded）」「Like接頭型（Like-prefixed）」「言語行為型（Illocutionary）」の4種類を、皮肉の検出研究の前進を目的として各発話にラベル付けした。テキスト、音声、映像のマルチモーダル融合モデルを用いた包括的な実験により、皮肉における正確な感情認識のベンチマークが確立され、最先端の皮肉検出手法を上回る性能が達成された。本研究では、多様なアノテーションを付与した拡張データセットおよび研究用コードを公開する：https://github.com/apoorva-nunna/MUStARD_Plus_Plus