학습 가능한 양방향 주의 맵을 이용한 이미지 인페인팅

대부분의 합성곱 네트워크(CNN) 기반 인페인팅 방법은 유효 픽셀과 구멍을 구별 없이 처리하는 표준 합성곱을 채택하여, 불규칙한 구멍을 처리하는 데 한계가 있으며 색상 차이와 흐림 현상을 더 많이 발생시키는 경향이 있습니다. 이 문제를 해결하기 위해 부분 합성곱이 제안되었지만, 이는 수작업으로 특징 재정규화를 수행하며 전방 마스크 업데이트만 고려합니다. 본 논문에서는 불규칙한 구멍에 적응하고 합성곱 계층의 전파를 개선하기 위해 특징 재정규화와 마스크 업데이트를 단일 과정으로 학습할 수 있는 학습 가능한 주의 맵 모듈을 제시합니다. 또한, U-Net 디코더가 구멍과 알려진 영역 모두를 재구성하는 대신 불규칙한 구멍을 메우는 데 집중할 수 있도록 학습 가능한 역 주의 맵을 도입하여, 이를 통해 우리의 학습 가능한 양방향 주의 맵을 구성하였습니다. 질적 및 양적 실험 결과, 우리 방법은 최첨단 기술들과 비교해 더 선명하고 일관성이 있으며 시각적으로 타당한 인페인팅 결과를 생성하는데 우수한 성능을 보였습니다. 소스 코드와 사전 훈련된 모델은 공개될 예정입니다.