感情認識は、行動の様々な側面をモデル化する技術が向上するにつれて、ヒューマンコンピュータインタラクションにおける重要な研究分野となっています。テクノロジーの進歩により、私たちの感情に関する理解も深まっています。その結果、自動感情認識システムに対する需要が高まっています。研究の一つの方向性として、入力データの数が多く多様な複雑な関数を推定することが得意なニューラルネットワークの利用があります。本論文では、ニューラルネットワークのこの効果性を活用し、IEMOCAPデータセットにおいて音声、テキスト、顔表情や回転、手の動きなどのモーションキャプチャデータを用いたマルチモーダル感情認識を行うことを試みます。これまでの研究ではIEMOCAPデータセットから音声による感情検出に焦点が当てられてきましたが、当方針は初めてIEMOCAPが提供する複数のモードのデータを使用することでより堅牢で正確な感情検出を実現しようとするものです。