一种分层深度架构及联合交通标志和信号灯检测的小批量选择方法

自动驾驶汽车上的交通信号灯和标志检测器对于道路场景感知至关重要。现有文献中充斥着大量深度学习网络，这些网络要么只能检测交通信号灯，要么只能检测交通标志，而不能同时检测两者。这使得它们在实际部署中不太适用，因为嵌入式系统上的图形处理单元（GPU）内存和功率有限。这一问题的根本原因在于没有公开的数据集同时包含交通信号灯和标志的标签，从而导致开发联合检测框架的困难。我们提出了一种深层分层架构，并结合了一个小批量提案选择机制，使网络能够在分别训练于交通信号灯数据集和交通标志数据集的情况下同时检测这两种目标。我们的方法解决了不同数据集中实例重叠但未标记的问题。我们是首个提出能够对交通信号灯和标志进行联合检测的网络的研究团队。我们在清华大学-腾讯100K基准上测试了我们的网络在交通标志检测方面的性能，并在博世小型交通信号灯基准上测试了其在交通信号灯检测方面的性能，结果显示它优于现有的博世小型交通信号灯最先进的方法。我们专注于自动驾驶汽车的实际部署，并展示了我们的网络由于其较低的内存占用和实时图像处理时间而比其他方法更适合实际应用。定性结果可参见：https://youtu.be/_YmogPzBXOw