2 个月前

DeeperLab:单次图像解析器

Tien-Ju Yang; Maxwell D. Collins; Yukun Zhu; Jyh-Jing Hwang; Ting Liu; Xiao Zhang; Vivienne Sze; George Papandreou; Liang-Chieh Chen
DeeperLab:单次图像解析器
摘要

我们提出了一种单次拍摄、自下而上的全图像解析方法。全图像解析,也称为全景分割(Panoptic Segmentation),是对“物质”类别的语义分割和“物体”类别的实例分割的泛化,为图像中的每个像素分配语义和实例标签。近期的全图像解析方法通常采用独立的模块分别处理语义分割和实例分割任务,并需要多次推理。相比之下,所提出的DeeperLab图像解析器采用了一种显著简化且完全卷积的方法,能够在单次拍摄中同时解决语义分割和实例分割任务,从而形成一个更加简洁高效的系统,更适合快速处理。为了进行定量评估,我们使用了基于实例的全景质量(Panoptic Quality, PQ)指标和新提出的基于区域的解析覆盖度(Parsing Covering, PC)指标。后者更好地捕捉了“物质”类别和较大物体实例的图像解析质量。我们在具有挑战性的Mapillary Vistas数据集上报告了实验结果,在验证集上我们的单一模型达到了31.95%的PQ值,在测试集上达到了31.6%的PQ值;在验证集上达到了55.26%的PC值。该模型在GPU上以每秒3帧(fps)的速度运行,或者在降低精度的情况下以接近实时的速度(每秒22.6帧)运行。