Inception-v4、Inception-ResNet 以及残差连接对学习的影响

近年来，深度卷积网络在图像识别性能方面取得了最大的进展。一个例子是Inception架构，该架构已被证明能够在相对较低的计算成本下实现非常出色的性能。最近，残差连接与传统架构结合的引入，在2015年ILSVRC挑战赛中达到了当时最佳的性能；其表现与最新的Inception-v3网络相似。这引发了关于将Inception架构与残差连接相结合是否具有任何优势的问题。在这里，我们提供了明确的实证证据，表明使用残差连接训练Inception网络可以显著加速其训练过程。此外，还有一些证据表明，带有残差连接的Inception网络在性能上略微优于没有残差连接的类似成本的Inception网络。我们还提出了一些新的简化架构，适用于带残差连接和不带残差连接的Inception网络。这些变体显著提高了在ILSVRC 2012分类任务中的单帧识别性能。我们进一步展示了适当的激活缩放如何稳定非常宽的残差Inception网络的训练过程。通过组合三个残差网络和一个Inception-v4网络，我们在ImageNet分类（CLS）挑战赛测试集上实现了3.08%的前五错误率。