残差ネットワーク「ResNet」は、単純なネットワークに基づいており、ショートカット リンクを挿入することで対応する残差バージョンに変換します。ターゲットに直接適合するわけではありませんが、残差に適合します。

ResNet の基本的な考え方は、最適化を容易にするために「ショートカット接続」の概念を導入することです。「ショートカット接続」を含む多層ネットワークは、残差ブロック (ショートカット接続、つまり x から まで) と呼ばれます。図の右側の⨁）矢印）。

元のモデルが関数 F(x) の空間でパラメーターを求める場合、残差ネットワークは x + f(x) の空間でパラメーターを求めます。

残差ネットワークの設計ルール:

残余ネットワーク オントロジーには、次の 2 つの主要なポイントがあります。

• 同じ特徴マップスケールと同じ番号を持つ畳み込みカーネル。
• 特徴マップのサイズが半分になると、特徴マップの数は 2 倍になります。

ショートカット リンクの場合、解決するには次の 2 つの方法があります。

• 周囲に 0 をパッドして次元を増やします。
• クイック投影を使用します。

残余ネットワークの利点:

• トレーニングが簡単
• 線形に深化可能なネットワーク
• 移植できる
• 1000層の精度に達することができます
• 勾配消失の問題は逆更新で解決できる

残差ネットワークのアプリケーション:

視覚認識、画像生成、自然言語処理、音声認識、広告、ユーザー予測