자기 표현 및 유도된 행동 영상에서의 성격 특성에 대한 다중모달 분석

성격 분석은 심리학, 정신의학, 신경과학 등 여러 분야에서 중요한 연구 주제이다. 최근 기계학습 기술의 급격한 발전과 함께 컴퓨터 과학 분야에서도 주목받는 연구 분야로 부상하고 있다. 현재의 계산적 방법들은 행동적 신호(예: 얼굴 표정, 제스처, 음성 등)를 해석하여 (외견상의) 성격 특성 수준을 추정하는 데 어느 정도 성공하고 있으나, 실용적인 활용을 위한 접근 가능한 평가 도구는 여전히 부족하며, 특히 빠르고 정확한 분석 방법의 필요성은 더욱 절실한 실정이다. 본 연구에서는 시간적 특성을 갖는 음성-시각적 신호 및 음성 대본(transcribed speech)을 기반으로 '빅 파이브(Big Five)' 성격 특성을 추정하기 위한 다모달 딥 아키텍처를 제안한다. 또한 성격 특성에 대한 보다 심층적인 분석을 위해 새로운 음성-시각 데이터셋인 ‘성격 분석을 위한 자기 표현 및 유도 행동 아카이브(Self-presentation and Induced Behavior Archive for Personality Analysis, SIAP)’를 구축하였다. 기존의 데이터셋들과 달리, SIAP은 자기 표현(발화) 영상 외에도 유도된 행동(Induced Behavior)의 기록을 포함하고 있다. SIAP 및 ChaLearn LAP First Impressions 데이터셋을 대상으로 체계적인 실험을 수행하여, 다양한 행동 모달리티(음성, 시각, 대본 등)의 신뢰성과 그 결합 활용의 효과를 종합적으로 평가하였다. 또한 유도된 행동이 성격 분석에 있어 가지는 특성과 구분 능력에 대해 탐구하였으며, 그 결과 유도된 행동이 실제로 성격 특성의 징후를 포함하고 있음을 입증하였다.