Cr-net：マルチモーダルな表面的パーソナリティ分析のための深層分類回帰ネットワーク

第一印象は社会的相互作用に強く影響を与え、個人的・職業的な生活において大きな影響を持つ。本論文では、Big Five性格特性の分析および第一印象設定下における求職面接の推薦支援を目的として、深層分類回帰ネットワーク（CR-Net）を提案する。本研究の設定は、動画、音声、および音声データから変換されたテキストを含むマルチモーダルデータを備えたChaLearn First Impressionsデータセットに基づいている。各被験者はカメラの前で発話を行う状況を想定している。包括的な予測を実現するため、我々は人物の全体的なシーン（動作および背景を含む）と顔の特徴の両方から動画を分析する。提案するCR-Netは、まず性格特性の分類を行い、その後回帰を適用することで、性格特性と面接推薦の両方において高精度な予測を達成する。さらに、回帰による平均への回帰（regression-to-the-mean）問題に起因する不正確な予測を解消するため、新しい損失関数であるベル損失（Bell Loss）を導入する。First Impressionsデータセットを用いた広範な実験により、本手法の有効性が確認され、最先端手法を上回る性能を示した。