다중 규모 동적 및 계층적 관계 모델링을 이용한 얼굴 행동 단위 인식

인간의 얼굴 행동 단위(AUs)는 계층적 방식으로 서로 관련되어 있으며, 공간적 및 시간적 영역에서 서로 연관되어 있음은 물론이고, 같은 또는 가까운 얼굴 영역에 위치한 AUs가 다른 얼굴 영역의 AUs보다 더 강한 관계를 보입니다. 기존의 접근 방법 중 어느 것도 이러한 AUs 간의 계층적 상호 의존성을 완전히 모델링하지 못하였지만, 본 논문에서는 AUs 발생 인식을 위해 다중 스케일 AU 관련 동적 및 계층적 공간-시간 관계를 포괄적으로 모델링하는 방법을 제안합니다. 구체적으로, 우리는 먼저 다양한 공간 스케일에서 프레임 간의 얼굴 역동성을 명시적으로 포착하기 위한 새로운 다중 스케일 시간 차분 네트워크와 적응형 가중치 블록을 제안합니다. 이는 특히 각각의 AUs 활성화 범위와 크기의 이질성을 고려합니다. 그 다음으로, 두 단계 전략을 도입하여 AUs의 공간 분포(즉, 지역 내 및 지역 간 AU 관계 모델링)에 기반한 AUs 간의 관계를 계층적으로 모델링합니다. BP4D와 DISFA 데이터셋에서 수행된 실험 결과는 우리의 접근 방법이 AU 발생 인식 분야에서 새로운 최첨단 기술임을 보여줍니다. 우리의 코드는 https://github.com/CVI-SZU/MDHR에서 공개적으로 이용 가능합니다.