엔드 투 엔드 얼굴 정렬을 위한 직접적 형태 회귀 네트워크

얼굴 정렬은 얼굴 분석에서 핵심적인 역할을 하기 때문에 컴퓨터 비전 분야에서 광범위하게 연구되어 왔으나, 여전히 해결되지 않은 문제로 남아 있다. 주요 도전 과제는 얼굴 이미지와 관련된 얼굴 형태 사이에 존재하는 매우 비선형적인 관계와, 이에 연관된 랜드마크 간의 내재적 상관관계에 기인한다. 기존의 방법들은 주로 계단식 회귀(cascaded regression)에 의존하고 있으며, 초기값에 강한 의존성과 랜드마크 상관관계를 효과적으로 활용하지 못하는 등의 내재적 한계를 가지고 있다. 본 논문에서는 이러한 문제들을 통합된 프레임워크 내에서 동시에 다루는 직접 형태 회귀 네트워크(Direct Shape Regression Network, DSRN)를 제안한다. 구체적으로, 이중 컨볼루션 층(doubly convolutional layer)을 도입하고, 본 논문에서 제안한 푸리에 특징 풀링(fourier feature pooling) 층을 사용함으로써, 이미지와 형태 간의 매우 비선형적인 관계를 효과적으로 분리하는 강력한 표현을 효율적으로 구축한다. 또한 저랭크 학습(low-rank learning)을 적용한 선형 층을 도입하여 랜드마크 간의 상관관계를 효과적으로 인코딩함으로써 성능을 향상시킨다. DSRN은 비선형 특징 추출을 위한 커널의 장점을 활용하면서도, 구조화된 예측을 위한 신경망의 강점을 결합하여, 직접적인 얼굴 정렬을 위한 최초의 엔드투엔드(end-to-end) 학습 아키텍처를 제시한다. 제안된 방법의 효과성과 일반성을 AFLW, 300W, CelebA, MAFL, 300VW 등 다섯 개의 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해 입증하였다. 모든 실험 결과는 DSRN이 일관되게 높은 성능을 발휘하며, 대부분의 경우 최신 기술(state-of-the-art)을 초월함을 보여준다.