残差网络「ResNet」是在简单网络的基础上，通过插入快捷链接将其转化为对应的残差版本，其不直接拟合目标，而是拟合残差。

ResNet 的基本思想是引入「shortcut connection」概念，使得其更容易被优化，包含一个「shortcut connection」的多层网络被称为一个残差块（shortcut connection，即图中右侧从 x 到 ⨁ 的箭头）。

如果原始模型是在函数 F(x) 的空间寻参，那么残差网络就是在 x + f(x) 的空间寻参。

残差网络的设计规则：

对于残差网络本体，主要有以下两点：

• 具有相同特征图尺度大小、相同个数的卷积核；
• 特征图的大小减半时数目加倍。

对于快捷链接，有以下两种方式解决：

• 在周围填充 0 以增加维度；
• 使用快捷投影。

残差网络的优点：

• 容易训练
• 线性可加深网络
• 可以被移植
• 可以达到 1000 层精度
• 可通过反向更新解决梯度消失的问题

残差网络的应用：

视觉识别、图像生成、自然语言处理、语音识别、广告、用户预测