초록
성격 특성의 자동 예측은 법의학, 추천 시스템, 개인화 서비스 등 다양한 실생활 응용 분야에서 활용 가능하다. 본 연구에서는 사용자의 영상에서 성격 특성을 예측하는 문제를 해결하기 위한 솔루션 프레임워크를 제안하였다. 사용자 영상에서 환경적 특성, 얼굴 특성, 음성 특성을 추출하였으며, 이러한 특성들이 최종 출력 예측에 사용된다. 시각적 모달리티와 음성 모달리티는 두 가지 방식으로 통합된다: 개별 모달리티로부터 얻은 예측 결과의 평균화, 그리고 다중 모달 설정에서 특성의 연결(concatenation). 시스템의 성능 평가를 위해 Chalearn-16에서 공개된 데이터셋을 사용하였다. 실험 결과, 영상 내에 존재하는 모든 이미지를 사용하는 것보다, 몇 장의 이미지만으로도 더 우수한 성능을 달성할 수 있음을 확인하였다.