다차원 에지 특징 기반의 AU 관계 그래프를 활용한 얼굴 행동 단위 인식

얼굴 행동 단위(Facial Action Units, AUs)의 활성화가 서로 상호 작용합니다. AUs 쌍 간의 관계는 복잡하고 독특할 수 있지만, 기존 접근 방식들은 각각의 표정에서 AUs 쌍 간의 이러한 신호를 구체적이고 명시적으로 표현하지 못합니다. 본 논문에서는 대상 표정에서 각 AUs 쌍 간의 관계를 명시적으로 설명하기 위해 고유한 그래프를 깊게 학습하는 AU 관계 모델링 접근 방식을 제안합니다. 우리의 접근 방식은 먼저 각 AU의 활성화 상태와 다른 AUs와의 연관성을 노드 특징으로 인코딩합니다. 그런 다음, 각 AUs 쌍 간의 여러 태스크별 관계 신호를 설명하기 위해 다차원 엣지 특징 쌍을 학습합니다. 노드 및 엣지 특징 학습 과정에서 우리 접근 방식은 전체 얼굴 표현을 입력으로 취하여 표정이 AUs 간의 관계에 미치는 독특한 영향도 고려합니다. BP4D 및 DISFA 데이터셋에 대한 실험 결과는 노드 및 엣지 특징 학습 모듈이 CNN과 트랜스포머 기반 백본 모두에게 큰 성능 향상을 제공함을 보여주며, 최고 시스템은 최신 AU 인식 결과를 달성하였습니다. 우리의 접근 방식은 AU 인식을 위한 관계 신호 모델링 능력이 뛰어나지만, 다양한 백본에 쉽게 통합될 수도 있습니다. 우리의 PyTorch 코드는 공개되었습니다.