理解卷积在语义分割中的应用

近期在深度学习领域的进展，尤其是深度卷积神经网络（CNNs），已经显著提升了以往的语义分割系统。本文展示了通过调整与卷积相关的操作来改进像素级语义分割的方法，这些方法具有理论和实践上的价值。首先，我们设计了密集上采样卷积（DUC）以生成像素级别的预测，该方法能够捕捉并解码通常在双线性上采样中缺失的更多细节信息。其次，我们在编码阶段提出了一种混合空洞卷积（HDC）框架。该框架 1）有效地扩大了网络的感受野（RF），以聚合全局信息；2）缓解了由标准空洞卷积操作引起的“网格化问题”（gridding issue）。我们对所提出的方法在Cityscapes数据集上进行了全面评估，在提交时测试集上的mIOU达到了80.1%的最先进水平。此外，我们在KITTI道路估计基准和PASCAL VOC2012分割任务中也取得了最优秀的总体结果。我们的源代码可以在https://github.com/TuSimple/TuSimple-DUC 获取。