自己紹介動画および誘導行動動画におけるパーソナリティ特性のマルチモーダル分析

パーソナリティ分析は、心理学、精神医学、神経科学など複数の分野において重要な研究領域である。近年、機械学習の飛躍的な進展に伴い、コンピュータサイエンス分野でも注目される研究テーマとなっている。現在の計算手法は、行動的サイン（例：顔の表情、ジェスチャー、声のトーンなど）を解釈することで、（外見上の）パーソナリティ特性の程度を推定できるが、実用的な用途に耐えうる評価ツールは依然として不足しており、さらには迅速かつ正確な分析手法の開発が急務である。本研究では、（時間的）音声・視覚的サインおよび音声の文字起こしを用いて、五大パーソナリティ特性を推定するためのマルチモーダル深層学習アーキテクチャを提案する。さらに、パーソナリティ特性の詳細な分析を可能にするために、新たな音声・視覚データセット「自己表現と誘発行動アーカイブ：パーソナリティ分析用（Self-presentation and Induced Behavior Archive for Personality Analysis, SIAP）」を構築した。既存のデータセットと異なり、SIAPは自己表現（スピーチ動画）に加えて、誘発された行動の記録を含んでいる。SIAPおよびChaLearn LAP First Impressionsデータセットを用いた包括的な実験を通じて、異なる行動モダリティ（モーダリティ）の信頼性とそれらを統合した場合の有効性を系統的に評価した。さらに、誘発行動がパーソナリティ分析においてどのような特徴を持ち、どの程度の識別力を有するかを検証した結果、誘発行動には確かにパーソナリティ特性の兆候が含まれていることが明らかになった。