Transformerをベースとした感情認識とセンチメント分析のための統合符号化

感情や感情の表現を理解することは、人間のマルチモーダル言語において重要な要素である。本論文では、感情認識（Emotion Recognition）およびセンチメント分析（Sentiment Analysis）のタスクを対象として、Transformerベースの共同符号化（Transformer-based Joint-encoding, TBJE）手法を提案する。本手法はTransformerアーキテクチャを採用するだけでなく、モジュール型のコアテンション（co-attention）機構とグリムプ層（glimpse layer）を用いて、一つまたは複数のモダリティを統合的に符号化する。提案手法は、CMU-MOSEIデータセットを用いて評価される「ACL20: 第2回マルチモーダル言語グランドチャレンジ」にも提出されている。本研究で提示した実験を再現するためのコードはオープンソースで公開されており、以下のリンクからアクセス可能である：https://github.com/jbdel/MOSEI_UMONS。