2 个月前

残差网络的残差网络:多级残差网络

Ke Zhang; Miao Sun; Tony X. Han; Xingfang Yuan; Liru Guo; Tao Liu
残差网络的残差网络:多级残差网络
摘要

一个包含数百甚至数千层的残差网络家族在主要的图像识别任务中占据主导地位,但简单堆叠残差块构建网络不可避免地限制了其优化能力。本文提出了一种新颖的残差网络架构——残差网络的残差网络(RoR),旨在挖掘残差网络的优化潜力。RoR 将优化残差映射的残差映射替代为优化原始残差映射。具体而言,RoR 在原有的残差网络上增加了层次间的捷径连接,以增强残差网络的学习能力。更重要的是,RoR 可以应用于各种类型的残差网络(ResNets、Pre-ResNets 和 WRN),并显著提升它们的性能。我们的实验验证了 RoR 的有效性和通用性,在所有类似残差网络的结构中均取得了最佳性能。我们的 RoR-3-WRN58-4+SD 模型在 CIFAR-10、CIFAR-100 和 SVHN 数据集上分别达到了 3.77%、19.73% 和 1.59% 的测试错误率,创造了新的最先进结果。与 ResNets 相比,RoR-3 模型在 ImageNet 数据集上也达到了最先进水平。