10일 전

글로벌 및 로컬 어텐션 기반 자유형 이미지 복원

{Yong Ju Jung, S. M. Nadim Uddin}
초록

딥러닝 기반 이미지 보정 기법은 사각형 및 비정형 구멍 모두에 있어 큰 잠재력을 보여주고 있다. 그러나 비정형 구멍의 경우 모양과 위치에 대한 불확실성이 크기 때문에 보정 과정에서 많은 도전 과제를 안고 있다. 단순히 합성곱 신경망(Convolutional Neural Network, CNN) 또는 적대적 학습(adversarial supervision)에 의존할 경우, 합리적인 보정 결과를 보장할 수 없으며, 비정형 구멍의 경우 콘텐츠 생성을 위한 정보 복원을 위해 주의 기반 가이드라인이 필요하다. 본 논문에서는 보다 정교한 결과를 얻기 위해 전역적 종속성 정보와 특징 간 국소적 유사성 정보를 추출할 수 있도록, 마스크 정제 기반 전역 주의 모듈(Mask Pruning-based Global Attention Module)과 전역 및 국소 주의 모듈(Global and Local Attention Module)이라는 두 가지 새로운 주의 메커니즘을 제안한다. 제안된 방법은 최신 기술들과 비교하여 평가되었으며, 실험 결과는 제안 방법이 정량적 및 정성적 측면에서 기존 방법들을 모두 상회함을 보여준다.