2달 전

표현 학습과 얼굴 행동 이해를 위한 정체성 적대적 훈련

Ning, Mang ; Salah, Albert Ali ; Ertugrul, Itir Onal
표현 학습과 얼굴 행동 이해를 위한 정체성 적대적 훈련
초록

얼굴 행동 단위(AU) 검출은 복잡한 표정을 개별 근육 움직임으로 분해할 수 있어 주목받고 있습니다. 본 논문에서는 AU 검출에서 두 가지 기본적인 요소를 재검토합니다: 다양하고 대규모의 데이터와 피실험자 정체성 규제입니다. 최근 기초 모델의 발전에 영감을 받아, 우리는 데이터의 중요성을 강조하며 Face9M이라는 이름의 9백만 장의 얼굴 이미지를 포함하는 다각적인 데이터셋을 소개합니다. Face9M에서 마스크 오토인코더를 사전 학습하면 AU 검출 및 표정 인식 작업에서 뛰어난 성능을 보입니다. 더욱 중요한 점은, 우리는 AU 작업에서 정체성 적대적 훈련(IAT)이 충분히 탐구되지 않았다는 사실을 강조합니다. 이 간극을 메우기 위해, 먼저 AU 데이터셋 내의 피실험자 정체성이 모델에 대한 지름길 학습(shortcut learning)을 생성하여 AU 예측에 최적의 해법을 방해한다는 것을 보여줍니다. 둘째로, 우리는 강력한 IAT 규제가 정체성 불변 특성을 학습하기 위해 필요하다는 것을 입증합니다. 마지막으로, IAT 설계 공간을 설명하고 경험적으로 IAT가 정체성 기반 지름길 학습을 우회하여 더 나은 해법으로 이|array된다는 것을 보여줍니다. 제안된 방법인 얼굴 마스크 오토인코더(FMAE)와 IAT는 간단하고 일반적이며 효과적입니다. 특히, 제안된 FMAE-IAT 접근 방식은 BP4D(67.1%), BP4D+(66.8%), DISFA(70.1%) 데이터베이스에서 새로운 최고 수준의 F1 점수를 달성하여 이전 연구보다 크게 우수한 성능을 보였습니다. 코드와 모델은 https://github.com/forever208/FMAE-IAT 에서 제공됩니다.

표현 학습과 얼굴 행동 이해를 위한 정체성 적대적 훈련 | 최신 연구 논문 | HyperAI초신경