공간적 주의 기반 패치-계층 네트워크를 이용한 적응형 동작 흐림 제거

이 논문은 동적 장면의 운동 흐림 제거 문제를 다룬다. 최근에는 종단간 전 완전 컨볼루션 설계가 비균일한 운동 흐림 제거 분야에서 최신 기술 수준을 획기적으로 향상시켰지만, 성능과 복잡도 간의 트레이드오프는 여전히 최적화되지 않았다. 기존의 접근 방식들은 일반적인 컨볼루션 계층 수와 커널 크기를 증가시켜 광범위한 수용 영역을 확보하지만, 이는 모델 크기 증가와 추론 속도 저하라는 대가를 치러야 한다. 본 연구에서는 다양한 공간 위치에서 발생하는 큰 흐림 변화를 효과적으로 다루기 위해 효율적인 픽셀 적응형 및 특징 주의 설계를 제안하며, 각 테스트 이미지를 적응적으로 처리한다. 또한, 전역적 종속성뿐만 아니라 이웃 픽셀 정보를 동적으로 활용함으로써 성능을 크게 향상시키는 내용 인식형 글로벌-로컬 필터링 모듈을 제안한다. 본 논문은 위의 모듈을 기반으로 한 패치-계층적 주의 구조를 사용하여 입력 이미지 내 흐림의 공간적 변화를 암묵적으로 탐지하고, 중간 특징에 대해 국소적 및 전역적 조절을 수행한다. 흐림 제거 벤치마크에서 기존 기법들과의 광범위한 정성적 및 정량적 비교 결과, 제안된 설계는 정확도와 속도 측면에서 최신 기술 수준을 크게 초월함을 입증하였다.