마스크 인식을 통한 엔드투엔드 연속 개선을 이용한 이미지 복원

임의의 결측 영역을 보정하는 것은 다양한 결측 영역에 대해 유효한 특징을 학습하는 것이 비약적이라는 점에서 도전적인 과제이다. U자형 인코더-디코더 아키텍처가 성공적으로 활용된 바 있으나, 대부분의 기존 방법은 인코딩 과정에서 결측 영역에 대한 인식이 부족하다는 공통된 단점이 있다. 왜냐하면 결측 영역의 다양한 형태를 가진 모든 컨볼루션 창(또는 영역)이 동일하게 취급되며, 고정된 학습된 커널로 필터링되기 때문이다. 이러한 문제를 해결하기 위해 본 연구에서는 새로운 마스크 인식형 보정 솔루션을 제안한다. 먼저, 인코딩 단계에서 결측 영역에 대한 다중 스케일 특징을 효과적으로 학습하기 위해 마스크 인식형 동적 필터링(Mask-Aware Dynamic Filtering, MADF) 모듈을 설계하였다. 구체적으로 각 컨볼루션 창에 대한 필터는 해당 마스크 영역의 특징에서 생성된다. 두 번째 마스크 인식 기법은 디코딩 단계에서 포인트 와이즈 정규화(Point-wise Normalization, PN)를 도입함으로써 달성된다. 이는 결측점의 특징 통계적 특성이 비결측점과 다름을 고려한 것이다. 제안된 PN은 동적으로 포인트 와이즈 스케일링 인자와 바이어스를 할당함으로써 이러한 문제를 해결한다. 마지막으로, 본 모델은 엔드 투 엔드의 계단식 개선( cascaded refinement) 구조로 설계되었다. 재구성 손실, 지각적 손실, 총 변동 손실과 같은 지도 정보를 계단식으로 점진적으로 활용함으로써, 보정 결과를 거시적에서 미시적으로 향상시킨다. 제안된 프레임워크의 효과성은 Places2, CelebA, Paris StreetView 등 세 가지 공개 데이터셋에서 실시한 광범위한 실험을 통해 정량적 및 정성적으로 입증되었다.