전쟁 변형 안내를 이용한 눈먼 얼굴 복원 학습

본 논문은 제약이 없는 흐린, 노이즈가 있는, 저해상도 또는 압축된 이미지(즉, 저질화된 관측값)에서의 블라인드 얼굴 복원 문제를 연구합니다. 더 나은 미세한 얼굴 세부 정보의 복원을 위해, 동일한 신원의 고품질 가이드 이미지를 포함하여 저질화된 관측값과 함께 입력으로 사용하는 가이드 얼굴 복원 네트워크(GFRNet)의 문제 설정을 수정하였습니다. 그러나 일반적으로 저질화된 관측값과 가이드 이미지는 자세, 조명 및 표정에서 서로 다릅니다. 이로 인해 단순한 CNN(예: U-Net)은 미세하고 신원 인식적인 얼굴 세부 정보를 복원하는데 실패하게 됩니다. 이러한 문제를 해결하기 위해, 우리의 GFRNet 모델에는 왜핑 서브네트워크(WarpNet)와 재구성 서브네트워크(RecNet)가 포함되어 있습니다. WarpNet은 가이드 이미지를 올바른 자세와 표정으로 왜핑하기 위한 플로우 필드를 예측하는 데 도입되었습니다(즉, 왜핑된 가이던스). RecNet은 저질화된 관측값과 왜핑된 가이던스를 입력으로 받아 복원 결과를 생성합니다. 실제 플로우 필드가 제공되지 않기 때문에, 랜드마크 손실과 전체 변동 정규화가 결합되어 WarpNet 학습을 안내합니다. 또한, 블라인드 복원에 적용할 수 있도록 GFRNet은 흐림 커널, 노이즈 수준, 다운샘플링 스케일 요소 및 JPEG 품질 요소 등 다양한 설정을 갖춘 합성 데이터로 훈련됩니다. 실험 결과는 GFRNet이 최신 이미지 및 얼굴 복원 방법론에 비해 우수한 성능을 보이며, 실제 저질화된 얼굴 이미지에서도 시각적으로 사진처럼 실감나는 결과를 생성함을 보여줍니다.