L2正則化

$L_{2}$ 正則化、またはウェイト減衰は、ニューラルネットワークの重みに適用される正則化手法です。重みの $L_{2}$ ノルムの罰則項を損失関数に加えることで、新しい損失関数が形成されます：$L_{new}(w) = L_{original}(w) + \lambda w^Tw$。ここで、$\lambda$ は罰則の強さを制御し、重みの値が小さくなるように促します。この手法は過学習を防ぎ、汎化性能を向上させるのに役立ちます。ウェイト減衰は、目的関数だけでなく、直接ウェイト更新規則に組み込むことができます。