깊은 다중 스케일 구성 요소 사전을 통한 눈먼 얼굴 복원

최근 참조 기반 얼굴 복원 방법들이 실제 저품질 이미지에서 고주파 세부 정보를 회복하는 뛰어난 능력으로 많은 주목을 받고 있습니다. 그러나 이러한 대부분의 방법은 동일한 신원의 고품질 참조 이미지를 필요로 하기 때문에, 그 적용 범위가 제한적입니다. 이 문제를 해결하기 위해 본 논문에서는 퇴화된 관측치의 복원 과정을 안내하기 위한 깊은 얼굴 사전 네트워크(Deep Face Dictionary Network, DFDNet)를 제안합니다.먼저, K-평균 알고리즘을 사용하여 고품질 이미지에서 시각적으로 중요한 얼굴 구성 요소(\ie, 좌/우 눈, 코 및 입)에 대한 깊은 사전을 생성합니다. 다음으로, 퇴화된 입력 이미지를 사용하여 해당 사전에서 가장 유사한 구성 요소 특징들을 매칭하고 선택하여, 제안된 사전 특징 전송(Dictionary Feature Transfer, DFT) 블록을 통해 입력 이미지에 고품질 세부 정보를 전달합니다. 특히, 구성 AdaIN(Component AdaIN)이 활용되어 입력과 사전 특징 사이의 스타일 다양성(\eg, 조명)을 제거하며, 신뢰도 점수가 제안되어 사전 특징을 입력에 적응적으로 융합할 수 있도록 합니다. 마지막으로, 다중 스케일 사전이 단계적으로 채택되어 거칠기부터 세밀하게 복원할 수 있도록 합니다.실험 결과는 본 연구팀이 제안한 방법이 양적 및 질적 평가 모두에서 타당한 성능을 달성할 수 있음을 보여주며, 더욱 중요한 것은 동일한 신원에 속하는 참조 이미지를 요구하지 않고도 실제 퇴화된 이미지에서 현실적이면서도 유망한 결과를 생성할 수 있음을 입증하였습니다. 소스 코드와 모델은 \url{https://github.com/csxmli2016/DFDNet}에서 제공됩니다.