다중 규모 촉진 자기 조정 상관 관계 학습을 이용한 얼굴 행동 단위 검출

얼굴 행동 단위(AU) 검출은 감성 컴퓨팅과 사회 로봇공학에서 중요한 작업으로, 얼굴 표정을 통해 표현되는 감정을 식별하는 데 도움을 줍니다. 해부학적으로 AU 사이에는 무수히 많은 상관관계가 있으며, 이는 풍부한 정보를 포함하고 있어 AU 검출에 필수적입니다. 기존 방법들은 전문가의 경험이나 특정 벤치마크에 대한 통계적 규칙을 기반으로 고정된 AU 상관관계를 사용했지만, 이러한 수작업 설정을 통해 AU 간의 복잡한 상관관계를 포괄적으로 반영하는 것은 어려웠습니다. 이를 대체하기 위한 다른 방법들은 이러한 종속성을 완전히 학습하기 위해 완전 연결 그래프를 활용하지만, 이러한 접근 방식은 계산량의 폭발적인 증가와 대용량 데이터셋에 대한 높은 의존성을 초래할 수 있습니다. 이러한 문제들을 해결하기 위해 본 논문에서는 계산량이 적은 AU 검출을 위한 새로운 자동 조절 AU-상관관계 학습(SACL) 방법을 제안합니다. 이 방법은 네트워크의 다양한 단계에서 추출된 다른 수준의 AU 운동 및 감정 표현 정보의 특성을 효율적으로 활용하여 AU 상관관계 그래프를 적응적으로 학습하고 업데이트합니다. 또한 본 논문에서는 상관관계 정보 추출에서 다중 스케일 학습의 역할을 탐구하며, 더 나은 성능을 위해 간단하면서도 효과적인 다중 스케일 특징 학습(MSFL) 방법을 설계하였습니다. AU 상관관계 정보와 다중 스케일 특징을 통합함으로써 제안된 방법은 최종 AU 검출에 대해 더욱 강건한 특징 표현을 얻게 됩니다. 광범위한 실험 결과, 제안된 방법이 일반적으로 사용되는 AU 검출 벤치마크 데이터셋에서 최고의 방법보다 각각 28.7%와 12.0%의 매개변수와 FLOPs(연산 횟수)로 최신 기술보다 우수한 성능을 보임을 확인할 수 있었습니다. 이 방법에 대한 코드는 \url{https://github.com/linuxsino/Self-adjusting-AU}에서 제공됩니다.