残差マッピング残差マッピング

残差マッピングは、残差ネットワークの構築に基づく対応関係です。一般的な式は H(x) = F(x) + x です。ここで、F(x) は残差関数です。

関連する定義

残差は、数理統計における実際の観測値と近似値の差を表し、モデルの重要な情報が含まれています。

層間で学習する必要がある隠れたマッピングが H(x)、残差マッピングが F(x) = H(x) – x であると仮定すると、本来学習する必要があるマッピング H(x) は残差関数 F(x) + x、つまり残差は次のように定義されます: 残差 = 出力 – 入力。

残差マッピングとネットワーク

残留マッピングはアイデンティティ マッピングを追加します。これにより、単純なスタック ネットワークの代わりに、出力と入力の間に同時にショートカット接続が導入されます。

学習する元の関数 H(x) を F(x) + x に変換します。これにより、ネットワーク内の勾配消失の問題を解決できるだけでなく、ネットワークを非常に深くして残差ネットワーク ResNet を構築することもできます。