Regularisierung
RegularisierungDabei handelt es sich um den Prozess der Einführung zusätzlicher Informationen, um ein Problem zu lösen oder eine Überanpassung zu verhindern. Es handelt sich um eine gängige Methode in der Mathematik, Statistik und Informatik, insbesondere im maschinellen Lernen und bei inversen Problemen.
Gängige Regularisierungsmethoden
- L2-Regularisierung: Die Summe der Quadrate aller Parameter w geteilt durch die Stichprobengröße n des Trainingssatzes. λ ist der Regularisierungstermkoeffizient, der zum Gewichten des Anteils des Regularisierungsterms und des C0-Terms verwendet wird. Darüber hinaus gibt es einen Koeffizienten 1/2. Der Zweck des Hinzufügens von Regularisierungstermen besteht darin, die Summe der Quadrate der Parameter zu reduzieren. Die am häufigsten verwendete Regularisierungsmethode im maschinellen Lernen besteht darin, den Gewichten eine L2-Normbeschränkung aufzuerlegen.
- L1-Regularisierung: Die Summe der Absolutwerte aller Gewichte w wird mit λ/n multipliziert. Die L1-Regularisierung fügt der Zielfunktion einen Regularisierungsterm hinzu, um den Absolutwert der Parameter zu reduzieren, und wird häufig bei der Merkmalsauswahl verwendet.
- Dropout: L1- und L2-Regularisierung werden durch Modifizierung der Kostenfunktion erreicht, während Dropout durch Modifizierung des neuronalen Netzwerks selbst erreicht wird. Es handelt sich um eine Technik, die beim Training neuronaler Netzwerke verwendet wird.
- Drop Connect: Eine Verallgemeinerung von Dropout. Es handelt sich um eine weitere Regularisierungsstrategie zur Reduzierung der Überanpassung des Algorithmus. Drop Connect setzt normalerweise eine zufällig ausgewählte Teilmenge der Netzwerkarchitekturgewichte auf 0.
- Frühzeitiges Stoppen: Begrenzung der Anzahl der für das Modell erforderlichen Trainingsiterationen, um die Kostenfunktion zu minimieren. Dies wird häufig verwendet, um zu verhindern, dass überexprimierte Modelle während des Trainings eine schlechte Generalisierungsleistung aufweisen.