L2-Regulierung

$L_{2}$-Regularisierung, auch bekannt als Gewichtsverfall (weight decay), ist eine Regularisierungstechnik, die auf die Gewichte von neuronalen Netzen angewendet wird. Durch Hinzufügen eines $L_{2}$-Norm-Penalty-Terms der Gewichte zur Verlustfunktion entsteht eine neue Verlustfunktion: $L_{neu}(w) = L_{ursprünglich}(w) + \lambda w^Tw$, wobei $\lambda$ die Stärke der Strafe steuert und die Gewichtswerte kleiner werden lässt. Diese Methode hilft, das Überanpassen (overfitting) zu verhindern und die Generalisierungsfähigkeit zu verbessern. Der Gewichtsverfall kann direkt in die Regel für die Gewichtsanpassung integriert werden, anstatt nur implizit durch die Zielfunktion definiert zu sein.