会話における感情分析および感情検出は、多くの実世界の応用において重要な役割を果たしており、利用可能なモダリティ（情報モード）の増加により、背後にある感情をより深く理解できるようになっている。マルチモーダル感情検出および感情分析は特に有用であり、利用可能なデータに応じて、特定のモダリティサブセットを活用できるため、柔軟な応用が可能となる。しかし、現行のマルチモーダル機能を扱うシステムは、すべてのモダリティを通じた会話の文脈を適切に活用・捉えられておらず、聴衆と発話者の感情状態の相互依存関係、および利用可能なモダリティ間の関連性や相互関係を十分に考慮できていない。本論文では、上記の課題をすべて踏まえたエンド・トゥ・エンドのRNNアーキテクチャを提案する。著者らが開発した本モデルは、執筆時点でのベンチマークデータセットにおいて、多様な精度指標および回帰指標で、既存の最先端手法を上回っている。