약한 지도 신호를 활용한 이상치 세그멘테이션을 통한 강건한 모델 기반 얼굴 재구성

본 연구에서는 모델에 의해 설명되지 않는 이상치(예: 가려짐 또는 메이크업 등 모델로 잘 표현되지 않는 영역)에 모델을 피팅하는 것을 방지함으로써 모델 기반 얼굴 재구성 성능을 향상시키는 것을 목표로 한다. 이상치를 정확히 위치시키는 핵심 과제는 이러한 이상치가 매우 다양하고 레이블링이 어려운 특성을 가지고 있다는 점이다. 이러한 도전적인 문제를 극복하기 위해, 우리는 얼굴 오토인코더와 이상치 세그멘테이션을 통합하는 새로운 접근법인 FOCUS(Face-autoencoder and Outlier Segmentation)를 제안한다. 특히, 이상치는 얼굴 모델에 잘 피팅되지 않으므로, 고품질의 모델 피팅이 가능할 경우 그 위치를 효과적으로 파악할 수 있다는 점을 활용한다. 그러나 주요 과제는 모델 피팅과 이상치 세그멘테이션 간에 상호 의존성이 존재하며, 동시에 추론되어야 한다는 점이다. 이 ‘달걀과 닭’의 순환 문제를 해결하기 위해, 얼굴 오토인코더와 이상치 세그멘테이션 네트워크를 함께 학습하는 EM 유사 학습 전략을 제안한다. 이는 상호보완적인 효과를 가져오며, 세그멘테이션 네트워크가 얼굴 인코더가 이상치에 과도하게 피팅되는 것을 방지함으로써 재구성 품질을 향상시킨다. 개선된 3D 얼굴 재구성은 반대로 세그멘테이션 네트워크가 이상치를 더 정확히 예측할 수 있도록 한다. 또한, 눈썹과 같은 피팅이 어려운 영역과 이상치 간의 모호성을 해결하기 위해, 합성 데이터로부터 통계적 사전 지식을 구축하여 모델 피팅의 체계적 편향을 측정한다. NoW 테스트셋에서의 실험 결과, FOCUS는 3D 레이블이 없는 방식으로 학습된 모든 기준 모델 중에서 최고의 3D 얼굴 재구성 성능을 달성함을 입증하였다. 더불어 CelebA-HQ 및 AR 데이터베이스에서의 실험 결과, 세그멘테이션 네트워크가 세그멘테이션 레이블 없이도 가려짐 영역을 정확히 탐지할 수 있음을 확인하였다.