초록
움직이는 장면에서의 운동 흐림 제거는 움직이는 물체, 카메라 이동 등의 다양한 원인에 의해 발생하는 흐림을 다룰 때 매우 도전적인 과제이다. 이벤트 카메라는 강도 변화를 낮은 지연 시간으로 감지할 수 있으므로, 운동 정보가 이벤트 데이터 내에 본질적으로 포함되어 있으며, 이는 표준 카메라 이미지의 흐림 제거에 매우 유용할 수 있다. 물체의 깊이, 속도 등의 요인으로 인해 이미지 내에서 흐림의 강도는 균일하지 않다. 우리는 고도의 흐림이 발생하는 영역에 특별한 주의를 기울이는 이중 브랜치 네트워크 구조인 '운동 인지 이중 주의망(Motion Aware Double Attention Network, MADANet)'을 제안한다. 네트워크의 일부로, 이벤트 데이터는 먼저 고 흐림 영역 세그멘테이션 모듈에 의해 사용되며, 카메라에 비해 상대적으로 빠르게 움직이는 영역에 대해 확률적 점수를 생성한다. 이후 이벤트 데이터는 주요 네트워크의 특징 맵에 주입되며, 각 브랜치에 대해 두 번째 주의 메커니즘이 적용된다. 이벤트 데이터의 효과적인 활용과 두 수준의 주의 메커니즘은 네트워크를 매우 컴팩트하게 만든다. 실험 결과, 제안된 네트워크는 GoPro에서 제공하는 기준 데이터셋뿐 아니라, 실재의 이벤트 데이터를 포함한 두 개의 새로 수집된 데이터셋에서도 최신 기술 수준의 성능을 달성함을 입증하였다.