残差网络「ResNet」是在简单网络的基础上,通过插入快捷链接将其转化为对应的残差版本,其不直接拟合目标,而是拟合残差。
ResNet 的基本思想是引入「shortcut connection」概念,使得其更容易被优化,包含一个「shortcut connection」的多层网络被称为一个残差块(shortcut connection,即图中右侧从 x 到 ⨁ 的箭头)。
如果原始模型是在函数 F(x) 的空间寻参,那么残差网络就是在 x + f(x) 的空间寻参。
对于残差网络本体,主要有以下两点:
对于快捷链接,有以下两种方式解决:
视觉识别、图像生成、自然语言处理、语音识别、广告、用户预测