의미적 장면 특성과 다중 스트림 컨볼루션 구조를 활용한 야외 환경에서 비디오 기반 시각적 감정 인식의 문맥적 접근 방식

이 연구에서는 자연 환경에서 비디오 기반 시각적 감정 인식 문제를 다룹니다. 머리나 몸의 방향, 낮은 해상도, 불량 조명 등으로 인해 감정 정보의 주요 원천인 신체 및 얼굴 특징을 추출할 수 없는 경우, 표준 방법론은 종종 정확한 감정 예측에 실패합니다. 우리는 이 문제를 완화하기 위해 장면 특성과 속성을 포함한 시각적 맥락을 활용하여 보다 넓은 감정 인식 프레임워크의 일부로 제안합니다. 제안된 모델의 핵심은 시간 구간 네트워크(TSN)입니다. RGB 입력 모달리티 외에도, 직관적인 다중 스트림 접근법을 통해 밀집 광학 흐름(Dense Optical Flow)을 활용하여 운동을 보다 효과적으로 인코딩합니다. 또한, 우리는 골격 기반 학습에 초점을 맞추고, 공간-시간 그래프 컨볼루셔널 네트워크(ST-GCN)를 감정 인식 작업에 대한 사전 학습에 사용하기 위해 행동 중심 데이터를 활용합니다. 우리의 광범위한 실험은 어려운 Body Language Dataset(BoLD)에서 기존 접근법보다 우리의 방법이 우수함을 입증하며, 모든 상기 모듈을 적절히 통합하여 네트워크 앙상블을 구성함으로써 이전 최고의 공개된 인식 점수를 크게 뛰어넘었습니다.