HiFaceGAN: 협력적 억제 및 보충을 통한 얼굴 복원

기존의 얼굴 복원 연구는 일반적으로 훈련을 위해 either the degradation prior 또는 명시적 안내 라벨에 의존하는데, 이는 종종 실제 세계 이미지에서 다양한 화질 저하와 풍부한 배경 내용이 포함된 경우 제한적인 일반화 능력을 초래합니다. 본 논문에서는 이러한 요구 사항을 모두 해제하여 더 어려우면서도 실용적인 "두 가지 블라인드" 문제의 버전, 즉 "얼굴 개선"(Face Renovation, FR)을 조사합니다. 구체적으로, 우리는 FR을 의미 기반 생성 문제로 정식화하고 협업적 억제 및 보충(Collaborative Suppression and Replenishment, CSR) 접근법으로 해결하였습니다. 이를 통해 HiFaceGAN이라는 다단계 프레임워크를 개발하였으며, 이는 전단의 컨텐츠 적응형 억제 모듈에서 추출된 계층적 의미 안내를 기반으로 점진적으로 얼굴 세부 정보를 보충하는 여러 중첩된 CSR 유닛을 포함합니다. 합성 및 실제 얼굴 이미지를 대상으로 한 광범위한 실험을 통해 HiFaceGAN이 다양한 도전적인 복원 하위 작업에서 우수한 성능을 보임을 확인하였으며, 이는 실제 세계 얼굴 처리 응용 분야에서의 그 다재다능성, 견고성 및 일반화 능력을 입증하였습니다.