Fiducial Focus Augmentation for Facial Landmark Detection 피디셔널 초점 증강을 이용한 얼굴 랜드마크 검출

깊은 학습 방법은 얼굴 랜드마크 검출(Facial Landmark Detection, FLD) 작업의 성능에 있어 상당한 개선을 가져왔습니다. 그러나 머리 자세 변화, 과장된 표정, 또는 불균일한 조명과 같은 어려운 환경에서 랜드마크를 검출하는 것은 여전히 도전적인 문제로 남아 있습니다. 이는 높은 변동성과 부족한 샘플 때문입니다. 이러한 부족함은 모델이 입력 이미지에서 적절한 얼굴 구조 정보를 효과적으로 획득하지 못하기 때문으로 설명될 수 있습니다. 이를 해결하기 위해, 우리는 FLD 작업을 위해 특별히 설계된 새로운 이미지 증강 기법을 제안합니다. 이 새로운 증강 기법을 효과적으로 활용하기 위해, 우리는 두 가지 다른 시점에서 입력 이미지의 고차원 특징 표현을 집합적으로 학습하기 위한 딥 캐노니컬 상관 분석(Deep Canonical Correlation Analysis, DCCA) 기반 손실 함수를 사용하는 시아메즈(Siamese) 아키텍처 기반의 훈련 메커니즘을 사용합니다. 또한, 시아메즈 프레임워크의 견고한 백본으로 커스텀 아워글래스 모듈이 포함된 트랜스포머 + CNN 기반 네트워크를 사용합니다. 광범위한 실험 결과는 우리의 접근 방식이 다양한 벤치마크 데이터셋에서 여러 최신 연구보다 우수한 성능을 보임을 입증하였습니다.