双模态 SegNet：融合事件与RGB帧的实例分割用于机器人抓取

在动态条件下进行机器人抓取时，目标分割常面临遮挡、低光照、运动模糊以及目标尺寸变化等挑战。为应对这些难题，本文提出一种融合两类视觉信号——事件数据（event-based data）与RGB帧数据（RGB frame data）的深度学习网络。所提出的双模态分割网络（Bimodal SegNet）包含两个独立的编码器，分别处理两种输入信号，并采用空洞卷积（atrous convolutions）结合空间金字塔池化结构。编码器通过在不同分辨率下对特征拼接结果进行池化，捕获丰富的上下文信息；解码器则负责恢复清晰的目标边界。在基于事件感知分割（Event-based Segmentation, ESD）数据集的评估中，本文方法针对五种典型的图像退化挑战——遮挡、模糊、亮度变化、运动轨迹差异及尺度变化——进行了系统测试。实验结果表明，该方法在平均交并比（mean intersection over union）和像素准确率两项指标上，相较当前最优方法提升了6%至10%。模型代码已开源，可通过以下链接获取：https://github.com/sanket0707/Bimodal-SegNet.git