基于事件的运动去模糊交叉模态注意力方法

传统帧式相机由于曝光时间较长，不可避免地会产生运动模糊。作为一种仿生视觉传感器，事件相机以异步方式、高时间分辨率记录亮度变化，能够提供在曝光期间有效的图像退化信息。本文重新审视基于事件的图像去模糊问题，将其建模为一个端到端的两阶段图像复原网络。为有效融合事件与图像特征，我们在网络的多个层级设计了一种事件-图像跨模态注意力模块，能够聚焦于事件分支中的相关特征并抑制噪声。此外，我们提出一种专为图像去模糊任务设计的新颖对称累积事件表示方法，并引入事件掩码门控连接机制，用于连接网络的两个阶段，从而有效避免信息丢失。在数据集层面，为促进基于事件的运动去模糊研究，并支持在具有挑战性的真实场景图像上进行评估，我们构建了Real Event Blur（REBlur）数据集，该数据集在光照可控的光学实验室内由事件相机采集。所提出的事件融合网络（EFNet）在运动去模糊任务上达到了新的技术水平，在GoPro数据集上超越了此前最优的基于图像的方法以及所有公开实现的基于事件的方法（最高提升达2.47dB），并在我们自建的REBlur数据集上，即便在极端模糊条件下也表现出卓越性能。相关代码与REBlur数据集将公开发布，以推动该领域的发展。