マルチモーダルなパーソナリティ予測システム

性格特性を自動的に予測することは、法医学、レコメンデーションシステム、パーソナライズドサービスなど、多くの実用的応用を持つ。本研究では、映像からユーザーの性格特性を予測する問題に対処するためのソリューションフレームワークを提案した。ユーザーの映像から、環境的特徴（ambient features）、顔面特徴、音声特徴を抽出し、これらを用いて最終的な出力予測を行う。視覚的モダリティと音声的モダリティは、2つの異なる方法で統合された：個々のモダリティから得られた予測結果の平均化、およびマルチモーダル設定における特徴の連結。システムの性能評価には、Chalearn-16で公開されたデータセットを用いた。実験結果から、映像に含まれるすべての画像を用いるのではなく、わずか数枚の画像を用いることで、より良好な性能が得られることが示された。