다중 영역 얼굴 표정 인식: 통합된 평가 벤치마크 및 적대적 그래프 학습

다양한 얼굴 표현 인식(Facial Expression Recognition, FER) 데이터셋 간의 데이터 불일치 문제를 해결하기 위해 최근 몇 년간 많은 크로스 도메인 FER 방법(Cross-Domain FER, CD-FER)이 개발되었습니다. 각 방법은 우수한 성능을 달성한다고 주장하지만, 소스/타겟 데이터셋과 특징 추출기의 선택이 일관되지 않아 공정한 비교가 부족합니다. 본 연구에서는 이러한 일관되지 않은 선택으로 인해 발생하는 성능 영향을 먼저 분석하고, 그 다음으로 잘 작동하는 것으로 알려진 일부 CD-FER와 최근 발표된 도메인 적응 알고리즘들을 재구현하였습니다. 모든 알고리즘이 동일한 소스 데이터셋과 특징 추출기를 사용하도록 하여 공정한 CD-FER 평가를 보장하였습니다. 우리는 대부분의 현재 선도적인 알고리즘이 적대적 학습(adversarial learning)을 통해 전체적인 도메인 불변 특징(holistic domain-invariant features)을 학습하여 도메인 시프트(domain shifts)를 완화한다는 것을 발견하였습니다. 그러나 이러한 알고리즘들은 다른 데이터셋 간에 더 이전 가능하며 세부 내용을 더 잘 전달하는 국소 특징(local features)을 무시하고 있습니다.이러한 문제를 해결하기 위해, 우리는 새로운 적대적 그래프 표현 적응(Adversarial Graph Representation Adaptation, AGRA) 프레임워크를 개발하여 그래프 표현 전파(graph representation propagation)와 적대적 학습을 통합하여 크로스 도메인 전체-국소 특징 공동 적응(holistic-local feature co-adaptation)을 수행하였습니다. 구체적으로, 이 프레임워크는 먼저 각 도메인 내에서 그리고 서로 다른 도메인 간에서 전체와 국소 영역 사이의 관계를 나타내는 두 개의 그래프를 구성합니다. 그런 다음 입력 이미지에서 전체-국소 특징을 추출하고, 클래스별로 학습 가능한 통계 분포를 사용하여 해당 그래프 노드를 초기화합니다. 마지막으로, 두 개의 쌓인 그래프 컨볼루션 네트워크(Graph Convolution Networks, GCNs)가 각 도메인 내에서 전체-국소 특징의 상호작용을 탐색하고 서로 다른 도메인 간에 전체-국소 특징 공동 적응을 위한 정보 전파(propagation)를 수행합니다.우리는 여러 유명한 벤치마크에서 광범위하고 공정한 평가를 실시하였으며, 제안된 AGRA 프레임워크가 이전 최신 기술(state-of-the-art) 방법들보다 우수한 성능을 보임을 입증하였습니다.