BANet: 동적 장면의 흐림 제거를 위한 블러 인지 주의 네트워크

이미지 운동 흐림은 객체의 움직임과 카메라의 흔들림이 복합적으로 작용하여 발생하며, 이러한 흐림 효과는 일반적으로 방향성이 있고 비균일하다. 기존 연구들은 자기 반복적 다중 스케일, 다중 패치 또는 다중 시계열 아키텍처와 자기 주의 메커니즘(self-attention)을 활용하여 비균일한 흐림을 해결하려는 시도를 해왔다. 그러나 자기 반복 구조를 사용하는 경우 일반적으로 추론 시간이 길어지고, 픽셀 간 또는 채널 간 자기 주의 메커니즘은 과도한 메모리 사용을 초래할 수 있다. 본 논문에서는 단일 전방 전파(forward pass)를 통해 정확하고 효율적인 디블러링을 달성하는 Blur-aware Attention Network(BANet)을 제안한다. 제안하는 BANet는 다중 커널 스트립 풀링(multi-kernel strip pooling)을 활용한 영역 기반 자기 주의 메커니즘을 통해 다양한 크기와 방향성을 가진 흐림 패턴을 분리하고, 계단식 병렬 확장 컨볼루션(cascaded parallel dilated convolution)을 통해 다중 스케일 콘텐츠 특징을 효율적으로 통합한다. GoPro 및 RealBlur 벤치마크에서 실시한 광범위한 실험 결과는 제안된 BANet가 최신 기술 대비 우수한 성능을 보이며 실시간으로 디블러링 결과를 제공할 수 있음을 입증한다.