포즈와 가림에 강한 얼굴 표현 인식을 위한 지역 주의 네트워크

얼굴의 일부가 가려지거나 자세가 변화함으로써 얼굴 표현이 크게 달라질 수 있는 두 가지 주요 장애물은 자동 얼굴 표정 인식(Facial Expression Recognition, FER)에 있어 큰 문제입니다. 최근 수십 년 동안 자동 FER 분야에서 상당한 진전이 이루어졌지만, 실제 환경에서의 가림(occlusion)과 자세 변형(pose variation)에 대한 내성 문제는 상대적으로 덜 주목받았습니다. 본 논문에서는 실제 환경에서의 가림과 자세 변형에 강한 FER 문제를 세 가지 측면에서 다룹니다.첫째, 실제 환경에서의 가림과 다양한 자세 하에서의 FER 연구를 촉진하기 위해, 우리는 커뮤니티를 위한 수작업 주석이 포함된 야외 조건에서 수집된 여러 얼굴 표정 데이터셋을 구축합니다. 둘째, 가림과 자세 변형 상태에서도 효과적으로 얼굴 영역의 중요성을 포착할 수 있는 새로운 지역 주의 네트워크(Region Attention Network, RAN)를 제안합니다. 이 RAN은 백본 컨볼루셔널 신경망이 생성하는 다양한 수의 지역 특징들을 집약하고 임베딩하여 길이가 고정된 축소된 표현으로 변환합니다. 마지막으로, 얼굴 표정이 주로 얼굴 행동 단위(facial action units)에 의해 정의된다는 사실에 착안하여, 가장 중요한 지역들에 대해 높은 주의력을 부여하도록 하는 지역 편향 손실(region biased loss)을 제안합니다.우리는 제안한 RAN과 지역 편향 손실을 우리가 구축한 테스트 데이터셋 및 네 개의 유명 데이터셋인 FERPlus, AffectNet, RAF-DB, SFEW에서 검증하였습니다. 광범위한 실험 결과는 우리의 RAN과 지역 편향 손실이 가림과 자세 변형 상태에서 FER 성능을 크게 향상시킨다는 것을 보여줍니다. 또한 우리의 방법은 FERPlus, AffectNet, RAF-DB, SFEW에서 최신 기술(state-of-the-art) 결과를 달성하였습니다. 코드와 수집된 테스트 데이터는 공개될 예정입니다.