HTNet을 이용한 미세표정 인식

얼굴 표정은 얼굴 근육의 수축과 관련 있으며, 다른 근육 운동은 서로 다른 감정 상태에 해당합니다. 미세표정 인식에서는 근육 운동이 보통 미세하기 때문에 현재의 얼굴 감정 인식 알고리즘의 성능에 부정적인 영향을 미칩니다. 기존의 대부분 방법은 시퀀스 내 토큰 간의 관계를 포착하기 위해 자기 주의(self-attention) 메커니즘을 사용하지만, 얼굴 랜드마크 간의 고유한 공간적 관계를 고려하지 않습니다. 이는 미세표정 인식 작업에서 최적보다 못한 성능을 초래할 수 있습니다. 따라서, 얼굴 근육 운동을 인식하는 것은 미세표정 인식 분야에서 중요한 과제입니다. 본 논문에서는 이러한 문제를 해결하기 위해 중요 근육 운동 영역을 식별하는 계층적 트랜스포머 네트워크(Hierarchical Transformer Network, HTNet)를 제안합니다.HTNet은 두 가지 주요 구성 요소로 이루어져 있습니다: 로컬 시간 특성을 활용하는 트랜스포머 레이어와 로컬 및 글로벌 의미론적 얼굴 특성을 추출하는 집계 레이어입니다. 특히, HTNet은 얼굴을 왼쪽 입술 영역, 왼쪽 눈 영역, 오른쪽 눈 영역, 오른쪽 입술 영역으로 나눕니다. 트랜스포머 레이어는 각 영역에서 로컬 자기 주의를 통해 로컬 소근육 운동을 표현하는 데 중점을 두며, 집계 레이어는 눈 영역과 입술 영역 간의 상호 작용을 학습하는 데 사용됩니다.네 개의 공개된 미세표정 데이터셋에 대한 실험 결과, 제안된 접근 방식이 기존 방법들보다 크게 우수한 성능을 보임을 확인할 수 있었습니다. 코드와 모델은 다음 링크에서 제공됩니다: \url{https://github.com/wangzhifengharrison/HTNet}