17日前

OCEAN-AIフレームワークとEmoFormerクロスヘミフェイスアテンションアプローチを用いたパーソナリティ特性評価

{Alexey Karpov, Dmitry Ryumin, Maxim Markitantov, Elena Ryumina}
要約

以前の心理および神経科学的研究は、人格特性が顔全体だけでなく、その片側(半顔:hemiface)によっても特定可能である可能性を示唆していた。本稿では、深層ニューラルネットワークを用いた新たな研究を紹介し、人間の「五大人格特性(Big Five Personality Traits: PT)」の評価において、顔の両半面(hemifaces)の特徴を同時に扱うアプローチを提案する。具体的には、クロス半顔アテンション(cross-hemiface attention)を採用したリアルタイム処理手法「EmoFormer」を構築した。本手法の革新性は、各半顔が人間の人格特性判別において高い予測能力を有することを実証した点にあり、これは従来の顔全体を用いたアプローチと比較して、顔全体を用いた場合に比して、Concordance Correlation Coefficient(CCC)において3.6%の相対的な向上(0.634 vs. 0.612)を達成した。この成果は、ChaLearn First Impressions V2コーパス上で確認された。さらに、本手法は、顔モダリティに基づく人格特性評価に関する既存の最先端手法をすべて上回った。また、性別、人種、年齢などの人口統計的特性に基づいて、「最も正確に人格特性を予測できる半顔(best hemiface)」を分析した結果、五大人格特性のうち、経験への開放性(Openness to experience)および非神経症性(Non-Neuroticism)については、その最適な半顔が人口統計的特性によって異なることが明らかになった。一方、外向性(Extraversion)に関しては右半顔が優位であり、誠実性(Conscientiousness)および協調性(Agreeableness)については左半顔がより有意な指標であった。これらの結果は、既存の心理学および神経科学的研究と整合性を持つ。さらに、本研究では、医療、教育、人事など多様な分野における実用的応用が可能な専門家システムとのシームレスな統合を可能にするオープンソースフレームワーク「OCEAN-AI」を公開している。