面向轻量级和实时的线段检测

以往基于深度学习的线段检测（LSD）方法由于模型体积庞大和线预测的高计算成本，难以在计算资源受限的环境中实现实时推理。本文提出了一种适用于资源受限环境的实时轻量级线段检测器，命名为移动LSD（M-LSD）。我们通过最小化骨干网络并去除以往方法中常见的多模块线预测过程，设计了一种极为高效的LSD架构。为了在轻量级网络下保持竞争力，我们提出了新的训练方案：线段子部分（SoL）增强、匹配损失和几何损失。SoL增强将一条线段分割成多个子部分，这些子部分在训练过程中提供辅助线数据。此外，匹配损失和几何损失使模型能够捕捉额外的几何线索。与此前最佳的实时LSD方法TP-LSD-Lite相比，我们的模型（M-LSD-tiny）仅占用其2.5%的模型大小，并在GPU上实现了130.5%的推理速度提升。进一步地，我们的模型分别在最新的Android和iPhone移动设备上达到了56.8帧/秒和48.6帧/秒的运行速度。据我们所知，这是首个能够在移动设备上实现的实时深度LSD。我们的代码已公开可用。