반복적 신뢰 피드백과 안내식 업샘플링을 활용한 고해상도 이미지 복원

기존의 이미지 보정 방법은 실제 응용에서 큰 구멍을 처리할 때 종종 아티팩트를 생성한다. 이 문제를 해결하기 위해, 피드백 메커니즘을 갖춘 반복적 보정 방법을 제안한다. 구체적으로, 보정 결과뿐만 아니라 해당 결과에 대한 신뢰도 맵(confidence map)을 동시에 출력하는 심층 생성 모델을 도입한다. 이 신뢰도 맵을 피드백으로 활용하여, 각 반복 단계에서 구멍 내부의 높은 신뢰도를 가진 픽셀들만 신뢰하고 점진적으로 보정을 수행하며, 다음 반복에서는 아직 보정되지 않은 픽셀들에 집중한다. 이 과정에서 이전 반복에서 부분적으로 예측한 결과를 이미 알려진 픽셀로 재사용함으로써, 결과가 점차적으로 개선된다. 또한, 고해상도 보정 결과 생성을 가능하게 하기 위해 가이드드 업샘플링 네트워크를 제안한다. 이는 입력 이미지에서 고해상도 특징 패치를 빌려오는 컨텍스추얼 어텐션 모듈을 확장함으로써 달성된다. 더불어 실제 객체 제거 상황을 모방하기 위해 대규모 객체 마스크 데이터셋을 수집하고, 사용자 입력을 더 현실적으로 시뮬레이션할 수 있도록 더 자연스러운 훈련 데이터를 합성하였다. 실험 결과, 본 방법은 정량적 및 정성적 평가 모두에서 기존 방법들을 크게 능가함을 보였다. 보다 자세한 결과 및 웹 애플리케이션은 다음 주소에서 확인할 수 있다: https://zengxianyu.github.io/iic.