대칭성을 고려한 얼굴 복원을 위한 깊은 CNN 학습

깊은 합성곱 네트워크(CNNs)는 얼굴 완성(face completion)에서 가능한 얼굴 구조를 생성하는 데 큰 성공을 거두었습니다. 그러나 이러한 방법들은 얼굴 구성 요소 간의 전반적인 일관성을 유지하고 미세한 얼굴 세부 정보를 복원하는 데 한계가 있습니다. 반면에, 대칭성(reflectional symmetry)은 얼굴 이미지의 주요 특성이며, 얼굴 인식과 일관성 모델링에 이점을 제공하지만, 깊은 얼굴 완성에서 아직 연구되지 않았습니다. 본 연구에서는 두 가지 대칭 강화 서브네트워크(symmetry-enforcing subnets)를 활용하여 효과적인 얼굴 완성을 위한 대칭 일관성 CNN 모델(즉, SymmFCNet)을 형성합니다. 얼굴의 한쪽 절반에만 픽셀이 결측된 경우, 조명 가중 변형 서브네트워크(illumination-reweighted warping subnet)가 개발되어 다른 절반의 얼굴 변형과 조명 가중을 안내합니다. 양쪽 절반 모두에 픽셀이 결측된 경우에는 재구성 서브네트워크(generative reconstruction subnet)와 지각적 대칭 손실(perceptual symmetry loss)을 제시하여 복원된 구조의 대칭 일관성을 강제합니다. SymmFCNet은 조명 가중 변형 서브네트워크 위에 재구성 서브네트워크를 쌓아 구성되며, 비정렬된 얼굴 이미지 데이터셋에서 단일 과정으로 학습될 수 있습니다.실험 결과, SymmFCNet은 합성 및 실제 가림 현상(occlusion)이 있는 이미지에서 고품질 결과를 생성하며, 기존 최신 기술(state-of-the-arts)과 비교해 우수한 성능을 보였습니다.