실세계 비디오 디블러링: 벤치마크 데이터셋 및 효율적인 순환 신경망

실세계 영상의 실시간 디블러링은 공간적·시간적으로 변하는 블러의 복잡성과 낮은 계산 비용 요구 조건으로 인해 여전히 도전적인 과제로 남아 있다. 네트워크 효율성을 향상시키기 위해, 현재 프레임의 공간적 특징을 효과적으로 추출할 수 있도록 RNN 셀 내부에 잔차 밀집 블록(Residual Dense Blocks)을 도입하였다. 또한, 과거 및 미래 프레임에서 유용한 계층적 특징을 효과적으로 융합하여 현재 프레임의 디블러링 품질을 향상시키기 위해 전역적 스페이라 temporal 주의 메커니즘(Global Spatio-Temporal Attention Module)을 제안한다. 또 다른 시급히 해결해야 할 문제는 실세계 기준 데이터셋의 부족이다. 이를 해결하기 위해, 공축 비임분할기(co-axis beam splitter) 캡처 시스템을 활용하여 흐린 영상과 선명한 영상의 쌍을 수집하여 새로운 데이터셋(BSD)을 공동 연구자들에게 기여한다. 실험 결과, 제안한 방법(ESTRNN)은 기존 최첨단 영상 디블러링 기법들에 비해 더 낮은 계산 비용으로 정량적·정성적 측면에서 더 우수한 디블러링 성능을 달성함을 확인하였다. 또한, 다양한 데이터셋 간의 교차 검증 실험을 통해 BSD가 합성 데이터셋에 비해 높은 일반화 능력을 보임을 입증하였다. 코드 및 데이터셋은 https://github.com/zzh-tech/ESTRNN 에 공개되어 있다.