초록
전통적인 감정 인식 기술은 주로 얼굴 표현 분석에만 초점을 맞추어, 감정 반응을 포괄적으로 표현하는 맥락을 부호화하는 능력이 제한적이었다. 본 연구에서는 인간의 얼굴 표현뿐만 아니라 맥락 정보도 공동으로 활용하여 성능을 향상시키는 맥락 인식형 감정 인식 딥 네트워크인 CAER-Net(Context-Aware Emotion Recognition Network)를 제시한다. 핵심 아이디어는 시각적 장면에서 인간의 얼굴을 숨기고, 주의 메커니즘(attention mechanism)을 통해 다른 맥락 정보를 찾는 것이다. 우리의 네트워크는 두 개의 하위 네트워크로 구성되며, 이 중 하나는 얼굴과 맥락 영역의 특징을 각각 추출하기 위한 두 스트림 부호화 네트워크이고, 다른 하나는 이러한 특징들을 적응적으로 융합하기 위한 적응 융합 네트워크이다. 또한, 기존 벤치마크보다 질적 및 양적으로 더 적절한 새로운 맥락 인식형 감정 인식 벤치마크인 CAER(Context-Aware Emotion Recognition)를 소개한다. 여러 벤치마크에서 CAER-Net은 맥락 정보가 감정 인식에 미치는 효과를 입증하였다. 우리의 데이터셋은 http://caer-dataset.github.io에서 이용할 수 있다.