Hyperparameter

Beim maschinellen Lernen sind Hyperparameter Parameter, die im Voraus vorgegeben werden, um den Lernprozess zu steuern. Die Werte anderer Parameter (z. B. Knotengewichte) werden durch Training ermittelt.Hyperparameter sind Konfigurationsoptionen, die bestimmen, wie ein maschineller Lernalgorithmus aus Daten lernt. Sie werden vom Benutzer festgelegt und nicht während des Trainingsprozesses erlernt. Beispiele für Hyperparameter sind die Lernrate, die Anzahl der verborgenen Schichten in einem neuronalen Netzwerk, die Anzahl der Entscheidungsbäume in einem Random Forest und der Regularisierungsparameter bei der linearen Regression.

Hyperparameter können in Modell-Hyperparameter und Algorithmus-Hyperparameter unterteilt werden. Modell-Hyperparameter werden hauptsächlich zur Modellauswahl verwendet und helfen nicht dabei, die Eigenschaften des Trainingssatzes zu erlernen. Im Gegensatz dazu haben Algorithmus-Hyperparameter theoretisch keinen Einfluss auf die Leistung des Modells, beeinträchtigen jedoch die Geschwindigkeit und Qualität des Lernens. Ein typischer Modell-Hyperparameter ist die Topologie und Größe des neuronalen Netzwerks; während die Lernrate und die Batchgröße (Batchgröße) sowie die Mini-Batchgröße (Mini-Batchgröße) typische Hyperparameter des Algorithmus sind.

Verschiedene Modelltrainingsalgorithmen erfordern unterschiedliche Hyperparameter. Einige einfache Algorithmen (wie etwa die gewöhnliche Kleinstquadrate-Regression) erfordern keine Hyperparameter. Die Auswahl geeigneter Hyperparameter ist von entscheidender Bedeutung, da sie die Leistung und das Verhalten von Modellen des maschinellen Lernens direkt beeinflusst. Wenn die Hyperparameter zu niedrig eingestellt werden, kann es zu einer Unteranpassung kommen, bei der das Modell die zugrunde liegenden Muster in den Daten nicht erkennt. Umgekehrt kann eine zu hohe Einstellung zu einer Überanpassung führen, bei der das Modell zu komplex wird und sich die Trainingsdaten merkt, anstatt gut auf unbekannte Daten zu verallgemeinern. Beim Hyperparameter-Tuning geht es darum, die beste Kombination von Hyperparametern für eine bestimmte Machine-Learning-Aufgabe zu finden. Dies geschieht normalerweise über eine Rastersuche, eine Zufallssuche oder fortgeschrittenere Techniken wie die Bayes-Optimierung. Durch die systematische Untersuchung verschiedener Kombinationen von Hyperparametern können Forscher die Konfiguration ermitteln, die die Modellleistung auf einem Validierungssatz maximiert.

Verweise

【1】https://zh.wikipedia.org/wiki/1T P3TB0_()

【2】https://encord.com/glossary/hyper-parameters-definition/