区域间亲和力蒸馏在道路标记分割中的应用

我们研究了将大型深度教师网络中的知识蒸馏到一个显著更小的学生网络中，用于道路标线分割任务。在本工作中，我们提出了一种新颖的知识蒸馏（Knowledge Distillation, KD）方法——区域间亲和力知识蒸馏（Inter-Region Affinity KD，简称 IntRA-KD），该方法能够更有效地从教师模型向学生模型传递关于场景结构的“知识”。该方法首先将给定的道路场景图像分解为多个区域，并将每个区域表示为图结构中的一个节点。随后，基于节点间特征分布的相似性，建立节点之间的成对关系，构建出区域间亲和力图。为了从教师网络中学习结构化知识，学生网络需学习匹配教师网络生成的图结构。在三个大规模道路标线分割基准数据集——ApolloScape、CULane 和 LLAMAS 上的实验表明，当采用多种轻量级模型作为学生网络、ResNet-101 作为教师网络时，所提出的 IntRA-KD 方法取得了令人瞩目的性能提升。相较于以往的知识蒸馏方法，IntRA-KD 在所有轻量级模型上均实现了更稳定的性能增益。相关代码已开源，地址为：https://github.com/cardwing/Codes-for-IntRA-KD。