18일 전

Cr-net: 다중모달 표면 성격 분석을 위한 딥 분류-회귀 네트워크

{Guodong Guo, Xiangda Qi, Huizhou Chen, Huijuan Fang, Sergio Escalera, Qiguang Miao, Jun Wan, Yunan Li}
초록

첫인상은 사회적 상호작용에 큰 영향을 미치며, 개인적 및 전문적 삶에서 중요한 역할을 한다. 본 논문에서는 첫인상 환경에서의 성격 특성 분석 및 채용 면접 추천을 지원하기 위해, 다층 분류-회귀 네트워크(Deep Classification-Regression Network, CR-Net)를 제안한다. 제안된 설정은 ChaLearn First Impressions 데이터셋을 기반으로 하며, 영상, 음성 및 음성 데이터로부터 변환된 텍스트로 구성된 다중 모달 데이터를 포함한다. 각 개인은 카메라 앞에서 대화를 진행하는 형태로 촬영된다. 포괄적인 예측을 위해, 본 연구는 사람의 전체 장면(움직임 및 배경 포함)과 얼굴 영상 두 가지 측면에서 영상을 분석한다. 제안하는 CR-Net은 먼저 성격 특성 분류를 수행한 후, 이후 회귀 분석을 적용함으로써 성격 특성과 면접 추천에 대해 정확한 예측을 가능하게 한다. 또한, 회귀 분석에서 발생할 수 있는 '평균으로 회귀하는 문제(regression-to-the-mean problem)'로 인한 정확도 저하를 해결하기 위해 새로운 손실 함수인 Bell Loss를 제안한다. First Impressions 데이터셋을 대상으로 수행한 광범위한 실험 결과는 제안된 네트워크의 효과성을 입증하며, 기존 최고 성능 기술을 초월함을 보였다.