基于自我呈现与诱发行为视频的多模态人格特质分析

人格分析是心理学、精神病学和神经科学等多个领域的重要研究方向。随着机器学习技术的迅猛发展，该领域也逐渐成为计算机科学中的热门研究方向。尽管当前的计算方法已能够通过分析行为线索（如面部表情、手势和语音）来估计人格特质的外在表现水平，但现有可获取的评估工具在实际应用中仍存在明显不足，更遑论对高效、精准分析方法的迫切需求。在本研究中，我们提出了一种多模态深度学习架构，旨在基于（时间序列的）音视频线索及转录语音，对大五人格特质进行估计。此外，为实现对人格特质的深入分析，我们构建了一个新的音视频数据集，名为“人格分析自呈现与诱导行为档案库”（Self-presentation and Induced Behavior Archive for Personality Analysis, 简称 SIAP）。与现有数据集不同，SIAP不仅包含自呈现（即口语表达）视频，还新增了受诱导行为的录制内容。通过对SIAP数据集以及ChaLearn LAP第一印象数据集开展系统性实验，我们全面评估了不同行为模态（如视觉、语音、文本等）及其融合使用在人格分析中的可靠性。进一步地，我们探究了诱导行为在人格分析中的特征表现及其判别能力，结果表明，诱导行为确实包含可识别的人格特质信号。