Ausfallen

Dropout ist eine Regularisierungstechnik, die beim Training neuronaler Netze verwendet wird und 2012 von Geoffrey Hinton und seinem Team vorgeschlagen wurde. Die relevanten Ergebnisse der Studie sind:Verbesserung neuronaler Netzwerke durch Verhinderung der Koadaption von MerkmalsdetektorenDarüber hinaus haben Hinton et al. veröffentlichte 2012 ein Papier mit dem TitelImageNet-Klassifizierung mit Deep Convolutional Neural NetworksDer Dropout-Algorithmus wurde auch in verwendet, was ebenfalls tiefgreifende Auswirkungen auf den Bereich des Deep Learning hatte.

Die Kernidee von Dropout besteht darin, während des Trainingsprozesses einige Neuronen im Netzwerk und ihre Verbindungen zufällig zu verwerfen (vorübergehend zu entfernen), um eine Überanpassung des Modells zu verhindern. Auf diese Weise zwingt Dropout jedes Neuron im Netzwerk, unabhängig von anderen spezifischen Neuronen zu sein, wodurch die Generalisierungsfähigkeit des Modells verbessert wird.

Die Schlüsselimplementierung von Dropout besteht darin, dass in jeder Trainingsiteration jedes Neuron mit einer bestimmten Wahrscheinlichkeit (normalerweise ein Hyperparameter) auf Null gesetzt wird, sodass mehrere verschiedene Netzwerkstrukturen zufällig erstellt werden können. Zum Testzeitpunkt sind alle Neuronen aktiviert, ihre Gewichte werden jedoch basierend auf der Wahrscheinlichkeit angepasst, dass sie während des Trainings beibehalten werden. Man kann sich diesen Ansatz so vorstellen, dass während des Trainings mehrere unterschiedliche Netzwerkmodelle gemittelt werden und während des Tests eine ungefähre Version dieses gemittelten Modells verwendet wird.

Als der Algorithmus erstmals vorgeschlagen wurde, wurde er hauptsächlich auf Feedforward-Neuralnetze angewendet, doch spätere Forschungen erweiterten seinen Anwendungsbereich, um ihn auch auf Convolutional Neural Networks (CNN) und Recurrent Neural Networks (RNN) anzuwenden. Die Dropout-Technologie hat sich bei einer Vielzahl von Aufgaben als effektiv erwiesen, darunter Bilderkennung, Spracherkennung, Dokumentenklassifizierung und Computerbiologie, und hat bei vielen Benchmark-Datensätzen hochmoderne Ergebnisse erzielt.