초록
우리는 2D 단일 시점 영상에서 3D 얼굴 파라미터를 자가 지도 학습 방식을 통해 영상 데이터로부터 학습하는 조건부 추정(Conditional Estimation, CEST) 프레임워크를 제안한다. CEST는 분석을 통한 합성(analysis-by-synthesis) 프로세스에 기반하며, 주어진 얼굴 이미지로부터 3D 얼굴 파라미터(형태, 반사율, 시점, 조명)를 추정한 후, 이를 재조합하여 2D 얼굴 이미지를 재구성하는 방식이다. 명시적인 레이블 없이도 의미론적으로 유의미한 3D 얼굴 파라미터를 학습하기 위해, CEST는 각 3D 얼굴 파라미터 간의 통계적 종속성을 고려하여 서로를 연결하여 추정한다. 구체적으로, 어떤 3D 얼굴 파라미터의 추정은 주어진 이미지에 조건을 두는 것뿐만 아니라, 이미 추정된 다른 얼굴 파라미터들에도 조건을 둔다. 또한, 영상 프레임 간 반사율의 대칭성과 일관성을 활용함으로써 얼굴 파라미터의 분리도를 향상시킨다. 이러한 반사율의 대칭성과 일관성 도입을 위한 새로운 전략과 함께, CEST는 자연스러운 환경에서 촬영된 영상 클립을 효율적으로 활용하여 학습이 가능하다. 정성적 및 정량적 실험을 통해 CEST의 효과성이 입증되었다.