블라인드 얼굴 복원을 위한 진보적인 의미 인식 스타일 변환

얼굴 복원은 얼굴 이미지 처리에서 중요한 부분이며 최근 몇 년간 광범위하게 연구되어 왔습니다. 그러나 이전의 연구들은 실제 세계의 저품질(LQ) 얼굴 이미지를 고품질(HQ)로 자연스럽게 변환하는 데 종종 실패하였습니다. 본 논문에서는 새로운 점진적 의미 인식 스타일 변환 프레임워크인 PSFR-GAN을 제안합니다. 구체적으로, 이전 방법들이 사용한 인코더-디코더 프레임워크 대신, 우리는 의미 인식 스타일 변환을 통해 LQ 얼굴 이미지의 복원을 다중 스케일 점진적 복원 과정으로 정식화하였습니다.주어진 LQ 얼굴 이미지와 해당 파싱 맵의 쌍을 기반으로, 먼저 입력 데이터의 다중 스케일 피라미드를 생성하고, 그 다음에는 의미 인식 스타일 전송 방식으로 거칠기부터 세밀하게까지 다른 스케일의 특징들을 점진적으로 조절합니다. 제안된 PSFR-GAN은 이전 네트워크들과 달리 입력 쌍들의 다양한 스케일에서 의미(파싱 맵) 및 픽셀(LQ 이미지) 공간 정보를 충분히 활용합니다. 또한, 각각의 의미 영역에 대해 개별적으로 특징 스타일 손실을 계산하여 얼굴 텍스처의 세부 사항을 개선하기 위해 의미 인식 스타일 손실을 도입하였습니다.마지막으로, 실제 세계의 LQ 얼굴 이미지로부터 적절한 파싱 맵을 생성할 수 있는 얼굴 파싱 네트워크를事前훈련(pretrain)하였습니다. 실험 결과는 합성 데이터로 훈련된 우리의 모델이 합성 LQ 입력에 대해 더 현실적인 고해상도 결과를 생성할뿐만 아니라, 최신 방법론들보다 자연스러운 LQ 얼굴 이미지에도 더 잘 일반화됨을 보여줍니다. 코드는 https://github.com/chaofengc/PSFRGAN에서 제공됩니다.注：在最后一句中，“事前”一词用于表示“pretrain”，即预先训练的意思。但是，考虑到韩语中的常用表达，建议将其改为“사전”以提高流畅度。修改后的版本：마지막으로, 실제 세계의 LQ 얼굴 이미지로부터 적절한 파싱 맵을 생성할 수 있는 얼굴 파싱 네트워크를 사전 훈련(pretrain)하였습니다. 실험 결과는 합성 데이터로 훈련된 우리의 모델이 합성 LQ 입력에 대해 더 현실적인 고해상도 결과를 생성할뿐만 아니라, 최신 방법론들보다 자연스러운 LQ 얼굴 이미지에도 더 잘 일반화됨을 보여줍니다. 코드는 https://github.com/chaofengc/PSFRGAN에서 제공됩니다.