Codebook Lookup Transformer를 활용한 강건한 블라인드 얼굴 복원 연구

무작위 얼굴 복원은 종종 보조 가이드가 필요한 매우 불안정한 문제입니다. 이는 1) 저화질 입력에서 원하는 출력으로의 매핑을 개선하거나, 2) 입력에서 손실된 고화질 세부 정보를 보완하기 위함입니다. 본 논문에서는 작은 대리 공간에서 학습된 이산 코드북 사전이 무작위 얼굴 복원을 코드 예측 작업으로 변환하여 복원 매핑의 불확실성과 모호성을 크게 줄이고, 고화질 얼굴 생성에 필요한 풍부한 시각적 원자들을 제공할 수 있음을 입증합니다. 이러한 패러다임 하에서, 우리는 저화질 얼굴의 전역 구성을 모델링하고 코드 예측을 위한 전역 맥락을 제공하는 Transformer 기반 예측 네트워크인 CodeFormer를 제안합니다. 이를 통해 입력이 심하게 저화질일지라도 자연스럽고 목표 얼굴에 가까운 얼굴을 발견할 수 있습니다. 다양한 화질 저하에 대한 적응성을 강화하기 위해, 우리는 충실도와 품질 사이의 유연한 균형 조절을 가능하게 하는 제어 가능한 특성 변환 모듈도 제안합니다. 표현력 있는 코드북 사전과 전역 모델링 덕분에, CodeFormer는 품질과 충실도 측면에서 최신 기술들을 능가하며, 화질 저하에 대해 우수한 견고성을 보여줍니다. 합성 데이터셋과 실제 세계 데이터셋에 대한 광범위한 실험 결과들은 우리의 방법론의 효과성을 검증하였습니다.