초록
얼굴 행동 단위(AU) 검출과 얼굴 정렬은 얼굴 랜드마크가 의미 있는 국소 특징을 추출하기 위한 정확한 AU 위치를 제공할 수 있어 두 가지 매우 상관관계가 높은 작업입니다. 기존의 대부분 AU 검출 연구는 얼굴 정렬을 전처리로 취급하고 두 작업을 독립적으로 처리합니다. 본 논문에서는 이전에 탐구되지 않았던 공동 AU 검출 및 얼굴 정렬을 위한 새로운 엔드투엔드 딥러닝 프레임워크를 제안합니다. 특히, 다중 스케일 공유 특징이 먼저 학습되며, 얼굴 정렬의 고차원 특징이 AU 검출에 입력됩니다. 또한, 정확한 국소 특징을 추출하기 위해 각 AU의 주의 맵을 적응적으로 개선하는 적응적 주의 학습 모듈을 제안합니다. 마지막으로, 조합된 국소 특징은 얼굴 정렬 특징과 전역 특징과 통합되어 AU 검출에 사용됩니다. BP4D와 DISFA 벤치마크에서 수행된 실험 결과, 제안된 프레임워크가 기존 최신 방법론보다 유의미하게 우수함을 입증하였습니다.