LDDMM-Face: 유연하고 일관성 있는 얼굴 정렬을 위한 대변형 미분 계량 학습

우리는 유연하고 일관성 있는 얼굴 정렬 프레임워크인 LDDMM-Face를 혁신적으로 제안한다. 이 프레임워크의 핵심 기여는 비틀림(диффеоморф적, diffeomorphic) 방식으로 얼굴 기하학을 자연스럽게 임베딩하는 변형층을 도입한 점이다. 히트맵 또는 좌표 회귀를 통해 얼굴 랜드마크를 예측하는 기존 방식과 달리, 우리는 이 작업을 비틀림 등록(diffeomorphic registration) 방식으로 재정의하고, 초기 경계와 진짜 경계 사이의 변형을 유일하게 파라미터화하는 운동량(momentum)을 예측한다. 이후 대변형 비틀림 미터릭 매핑(LDDMM, Large Deformation Diffeomorphic Metric Mapping)을 곡선과 랜드마크에 동시에 수행하여 얼굴 랜드마크를 정확히 위치화한다. LDDMM을 딥 네트워크에 통합함으로써 LDDMM-Face는 모호함 없이 일관된 얼굴 랜드마크 주석을 생성할 수 있으며, 다양한 주석 체계에 유연하게 대응할 수 있으며, 희소 주석에서 밀도 높은 주석까지 예측할 수 있다. 본 방법은 다양한 얼굴 정렬 네트워크에 쉽게 통합될 수 있다. 우리는 300W, WFLW, HELEN, COFW-68의 네 가지 벤치마크 데이터셋에서 LDDMM-Face를 광범위하게 평가하였다. 전통적인 내부 데이터셋 및 동일 주석 설정에서는 최첨단 기법과 경쟁하거나 이를 능가하지만, 특히 약한 지도 학습(부분 주석 → 전체 주석), 도전적인 케이스(예: 가려진 얼굴), 그리고 학습과 예측에 사용되는 데이터셋이 다를 경우에 뛰어난 성능을 보이며 진정한 차별성을 드러낸다. 더불어 LDDMM-Face는 주석 체계가 다른 데이터셋 간에 랜드마크를 예측하는 가장 도전적인 과제에서도 희망적인 결과를 보였다.