残差映射 Residual Mapping

残差映射是构建残差网络依据的对应关系，常见表现形式为 H(x) = F(x) + x，其中 F(x) 为残差函数。

相关定义

残差在数理统计上表示实际观测值与拟合值的差，蕴含模型的重要信息。

假设层间需要学习的隐藏映射为 H(x)，残差映射为 F(x) = H(x) – x，那么原本需要学习的映射 H(x) 便为残差函数 F(x) + x，即残差定义为：残差 = 输出 – 输入。

残差映射与网络

残差映射通过增加恒等映射「identity mapping」，即同时在输出和输入之间引入一个 Shortcut Connection，而非简单的堆叠网络。

将原始所要学习的函数 H(x) 转换为 F(x) + x，这样不仅可以解决网络出现梯度消失的问题，还可以将网络做的很深，以此构建残差网络 ResNet 。