GAN 사전 임베디드 네트워크를 이용한 야외 환경에서의 블라인드 얼굴 복원

야외에서 심각하게 손상된 얼굴 이미지의 무작위 얼굴 복원(Blind Face Restoration, BFR)은 매우 어려운 문제입니다. 이 문제의 고차원적 병리성과 복잡한 미지의 손상으로 인해, 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 직접 훈련시키는 것은 일반적으로 만족스러운 결과를 얻기 어렵습니다. 기존의 생성적 적대 네트워크(Generative Adversarial Network, GAN) 기반 방법들은 더 나은 결과를 생성할 수 있지만, 과도하게 부드러운 복원을 경향으로 합니다. 본 연구에서는 먼저 고품질 얼굴 이미지를 생성하기 위한 GAN을 학습하고 이를 U형 DNN에 사전 지식 디코더로 임베딩한 후, 합성된 저품질 얼굴 이미지 세트를 사용하여 GAN 사전 지식이 임베딩된 DNN을微调합니다.GAN 블록은 DNN의 깊은 특징과 얕은 특징에서 각각 잠재 코드와 노이즈 입력을 생성하도록 설계되어, 재구성된 이미지의 전역적인 얼굴 구조, 국부적인 얼굴 세부 정보 및 배경을 제어합니다. 제안된 GAN 사전 지식이 임베딩된 네트워크(GAN Prior Embedded Network, GPEN)는 구현이 쉽고 시각적으로 사진 같은 결과를 생성할 수 있습니다. 실험 결과, 제안된 GPEN은 특히 야외에서 심각하게 손상된 얼굴 이미지 복원에서 정량적 및 정성적으로 최신 BFR 방법론보다 현저히 우수한 결과를 달성했습니다. 소스 코드와 모델은 https://github.com/yangxy/GPEN에서 확인할 수 있습니다.注：在翻译中，“微调”一词被误译为韩文“微调”，正确的翻译应该是“fine-tuning”。以下是修正后的版本：야외에서 심각하게 손상된 얼굴 이미지의 무작위 얼굴 복원(Blind Face Restoration, BFR)은 매우 어려운 문제입니다. 이 문제의 고차원적 병리성과 복잡한 미지의 손상으로 인해, 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 직접 훈련시키는 것은 일반적으로 만족스러운 결과를 얻기 어렵습니다. 기존의 생성적 적대 네트워크(Generative Adversarial Network, GAN) 기반 방법들은 더 나은 결과를 생성할 수 있지만, 과도하게 부드러운 복원을 경향으로 합니다. 본 연구에서는 먼저 고품질 얼굴 이미지를 생성하기 위한 GAN을 학습하고 이를 U형 DNN에 사전 지식 디코더로 임베딩한 후, 합성된 저품질 얼굴 이미지 세트를 사용하여 GAN 사전 지식이 임베딩된 DNN을 fine-tuning합니다. GAN 블록은 DNN의 깊은 특징과 얕은 특징에서 각각 잠재 코드와 노이즈 입력을 생성하도록 설계되어, 재구성된 이미지의 전역적인 얼굴 구조, 국부적인 얼굴 세부 정보 및 배경을 제어합니다. 제안된 GAN 사전 지식이 임베딩된 네트워크(GAN Prior Embedded Network, GPEN)는 구현이 쉽고 시각적으로 사진 같은 결과를 생성할 수 있습니다. 실험 결과, 제안된 GPEN은 특히 야외에서 심각하게 손상된 얼굴 이미지 복원에서 정량적 및 정성적으로 최신 BFR 방법론보다 현저히 우수한 결과를 달성했습니다. 소스 코드와 모델은 https://github.com/yangxy/GPEN에서 확인할 수 있습니다.