2달 전

실세계에서의 생성적 얼굴 사전을 이용한 눈먼 얼굴 복원

Wang, Xintao ; Li, Yu ; Zhang, Honglun ; Shan, Ying
실세계에서의 생성적 얼굴 사전을 이용한 눈먼 얼굴 복원
초록

블라인드 얼굴 복원은 일반적으로 얼굴 기하학적 사전지식(facial geometry prior)이나 참조 사전지식(reference prior)과 같은 얼굴 사전지식에 의존하여 실제적이고 충실한 세부 정보를 복원합니다. 그러나 매우 낮은 품질의 입력은 정확한 기하학적 사전지식을 제공할 수 없으며, 높은 품질의 참조 자료는 접근하기 어려워 실세계 시나리오에서의 적용 범위를 제한시킵니다. 본 연구에서는 이러한 문제점을 해결하기 위해事前学習된 얼굴 GAN에 포함된 풍부하고 다양한 사전지식을 활용하는 GFP-GAN을 제안합니다. 이 생성적 얼굴 사전지식(Generative Facial Prior, GFP)은 새로운 채널 분할 공간 특성 변환 계층(channel-split spatial feature transform layers)을 통해 얼굴 복원 과정에 통합되며, 이를 통해 우리의 방법이 실제성과 충실성 사이에서 좋은 균형을 이루도록 합니다. 강력한 생성적 얼굴 사전지식과 섬세한 설계 덕분에, 우리의 GFP-GAN은 단일 순방향 전달(forward pass)만으로도 얼굴 세부 정보를 복원하고 색상을 개선할 수 있으며, GAN 역변환 방법들은 추론 시 비용이 많이 드는 이미지별 최적화(image-specific optimization)가 필요합니다. 광범위한 실험 결과, 우리의 방법이 합성 데이터셋과 실세계 데이터셋 모두에서 기존 연구보다 우수한 성능을 보임을 확인하였습니다.注:在翻译中,“事前学習된” 应该是 “사전 학습된”,这是韩语中的一个拼写错误。正确的翻译如下:블라인드 얼굴 복원은 일반적으로 얼굴 기하학적 사전지식(facial geometry prior)이나 참조 사전지식(reference prior)과 같은 얼굴 사전지식에 의존하여 실제적이고 충실한 세부 정보를 복원합니다. 그러나 매우 낮은 품질의 입력은 정확한 기하학적 사전지식을 제공할 수 없으며, 높은 품질의 참조 자료는 접근하기 어려워 실세계 시나리오에서의 적용 범위를 제한시킵니다. 본 연구에서는 이러한 문제점을 해결하기 위해 사전 학습된 얼굴 GAN에 포함된 풍부하고 다양한 사전지식을 활용하는 GFP-GAN을 제안합니다. 이 생성적 얼굴 사전지식(Generative Facial Prior, GFP)은 새로운 채널 분할 공간 특성 변환 계층(channel-split spatial feature transform layers)을 통해 얼굴 복원 과정에 통합되며, 이를 통해 우리의 방법이 실제성과 충실성 사이에서 좋은 균형을 이루도록 합니다. 강력한 생성적 얼색사 전지식과 섬세한 설계 덕분에, 우리의 GFP-GAN은 단일 순방향 전달(forward pass)만으로도 얼굴 세부 정보를 복원하고 색상을 개선할 수 있으며, GAN 역변환 방법들은 추론 시 비용이 많이 드는 이미지별 최적화(image-specific optimization)가 필요합니다. 광범위한 실험 결과, 우리의 방법이 합성 데이터셋과 실세계 데이터셋 모두에서 기존 연구보다 우수한 성능을 보임을 확인하였습니다.

실세계에서의 생성적 얼굴 사전을 이용한 눈먼 얼굴 복원 | 최신 연구 논문 | HyperAI초신경