通过双向对齐网络实现快速且准确的场景解析

本文提出了一种高效且准确的场景解析方法——双向对齐网络（Bidirectional Alignment Network, BiAlignNet）。此前，代表性工作BiSeNet~\cite{bisenet}采用两条独立路径（上下文路径与空间路径）分别实现语义信息与细节信息的平衡学习。然而，两条路径之间的内在关联尚未得到充分挖掘。我们认为，两条路径可通过互补机制相互促进。基于此，我们提出一种新型网络结构，通过学习得到的流场（flow field）实现双路径信息的相互对齐。为避免噪声干扰与语义差异，我们设计了一种门控流对齐模块（Gated Flow Alignment Module），以实现双向特征对齐。此外，为增强空间路径对细节信息的捕捉能力，我们引入了一种基于边缘引导的难样本挖掘损失函数（edge-guided hard pixel mining loss），用于监督对齐过程的学习。实验结果表明，该方法在Cityscapes数据集的验证集和测试集上分别取得了80.1%和78.5%的mIoU指标，同时在全分辨率输入下实现30 FPS的实时推理速度。相关代码与模型将公开于 \url{https://github.com/jojacola/BiAlignNet}。