OCEAN-AI 프레임워크 및 EmoFormer 교차 반면 주의 메커니즘을 통한 성격 특성 평가

이전의 심리학적 및 신경과학적 연구들은 얼굴의 전반적인 형태뿐 아니라 좌우 반면(헤미페이스, hemifaces)을 통해 성격 유형을 판단할 수 있음을 시사해왔다. 본 논문에서는 깊은 신경망(deep neural networks)을 활용하여 얼굴의 양측(좌우 반면)의 특징을 동시에 분석함으로써 인간의 '빅 파이브 성격 특성(Big Five Personality Traits, PT)'을 평가하는 새로운 연구를 제시한다. 이를 위해 우리는 실시간 처리가 가능한 새로운 접근법인 EmoFormer을 개발하였으며, 이는 양측 반면 간의 주의 메커니즘(cross-hemiface attention)을 포함하고 있다. 제안된 방법의 핵심적 혁신점은 각 반면(좌측 또는 우측)이 인간의 성격 특성 구분에 높은 예측 능력을 지닌다는 것을 실험적으로 입증했다는 점이다. 본 연구는 각 반면에 대해 새로운 중간 수준의 감정 특징 추출기(mid-level emotional feature extractor)를 설계하고, 반면 간 특징 융합을 위한 양측 주의 기반 융합 전략(cross-hemiface attention fusion strategy)을 도입하였다. 결과적으로 양측 반면의 특징을 융합한 방식은 전체 얼굴을 사용한 기존 방법보다 Concordance Correlation Coefficient(CCC) 기준으로 3.6%의 상대적 성능 향상을 달성하였으며, ChaLearn First Impressions V2 데이터셋에서 CCC 값은 0.634(본 연구) 대비 0.612(전체 얼굴 기반)로 나타났다. 또한 제안된 접근법은 기존의 모든 최첨단 얼굴 기반 성격 특성 평가 기법들을 초월하는 성능을 보였다. 또한, 성별, 인종, 연령 등의 인구통계학적 특성에 따라 성격 특성을 더 정확히 예측하는 '최적의 반면(best hemiface)'을 분석하였다. 그 결과, 성격 특성 중 두 가지(경험에 대한 개방성, 신경질성의 부재)에 있어서 최적의 반면은 인구통계학적 특성에 따라 달라지는 것으로 확인되었다. 나머지 세 가지 특성에 대해서는, 외향성(Extraversion)은 우측 반면이 더 우수한 예측 성능을 보였고, 성실성(Conscientiousness)과 협조성(Agreeableness)은 좌측 반면이 더 높은 예측력을 나타냈다. 이러한 결과는 기존의 심리학 및 신경과학적 연구와 일치하며, 얼굴의 반면이 성격 특성에 대한 정보를 비대칭적으로 담고 있음을 뒷받침한다. 마지막으로, 본 연구는 의료, 교육, 인사관리 등 다양한 분야에서 실용적 응용이 가능한 전문 시스템과 원활하게 통합 가능한 오픈소스 프레임워크인 OCEAN-AI를 공개하였다.