10 天前

动态场景去模糊的运动感知双注意力网络

{Mehmet Yamac, Dan Yang}
动态场景去模糊的运动感知双注意力网络
摘要

在动态场景中,由于物体运动、相机移动等多种因素共同作用导致的运动模糊,使得运动去模糊成为一个极具挑战性的任务。事件相机能够以极低的延迟检测亮度变化,因此事件数据中天然包含了丰富的运动信息,这对于恢复标准相机图像的模糊内容具有重要价值。由于物体深度、运动速度等因素的影响,图像中模糊程度在空间上并不均匀。为此,本文提出一种双分支网络结构——运动感知双注意力网络(Motion Aware Double Attention Network, MADANet),该网络特别关注模糊程度较高的区域。网络中,事件数据首先被用于高模糊区域分割模块,该模块生成一个类似概率的得分,用于标识相对于相机具有显著相对运动的区域。随后,事件数据被注入主干网络的特征图中,并在每个分支中引入第二层注意力机制。通过有效利用事件数据并结合两级注意力机制,该网络结构紧凑且高效。实验结果表明,所提出的网络不仅在GoPro基准数据集上达到了当前最优性能,还在两个新采集的数据集上表现出色,其中一个数据集包含真实的事件数据。