一种用于实时目标检测的能量和GPU计算高效的骨干网络

由于DenseNet通过密集连接聚合具有不同感受野的中间特征，因此在目标检测任务中表现出良好的性能。尽管特征重用使得DenseNet能够在模型参数和浮点运算次数（FLOPs）较少的情况下生成强大的特征，但以DenseNet为主干网络的检测器却显示出相对较慢的速度和较低的能量效率。我们发现，由密集连接导致的输入通道线性增加会带来较高的内存访问成本，从而增加了计算开销并消耗了更多的能量。为了解决DenseNet的低效问题，我们提出了一种称为VoVNet的能量和计算高效架构，该架构包含一次性聚合（One-Shot Aggregation, OSA）。OSA不仅继承了DenseNet在多感受野下表示多样化特征的优势，还通过仅在最后一层特征图中一次性聚合所有特征克服了密集连接带来的低效问题。为了验证VoVNet作为主干网络的有效性，我们设计了轻量级和大规模的VoVNet，并将其应用于单阶段和两阶段的目标检测器。基于VoVNet的检测器在速度上比基于DenseNet的检测器快2倍，并且能量消耗减少了1.6倍至4.1倍。除了优于DenseNet之外，VoVNet还以更快的速度和更高的能效超越了广泛使用的ResNet主干网络。特别是，在小目标检测性能方面，VoVNet相比DenseNet和ResNet有了显著提升。