{Michael Carbin Jonathan Frankle}

Abstract

Neuronale Netzwerk-Pruning-Techniken können die Anzahl der Parameter trainierter Netzwerke um über 90 % reduzieren, wodurch der Speicherbedarf sinkt und die rechnerische Leistungsfähigkeit der Inferenz verbessert wird, ohne die Genauigkeit zu beeinträchtigen. Allerdings zeigt sich in der aktuellen Praxis, dass die durch Pruning erzeugten sparsen Architekturen von Grund auf schwer zu trainieren sind – was den Trainingserfolg ähnlich verbessern würde. Wir stellen fest, dass eine herkömmliche Pruning-Methode natürlicherweise Unterstrukturen aufdeckt, deren Initialisierung sie in der Lage macht, effektiv zu trainieren. Aufgrund dieser Ergebnisse formulieren wir die „Lotterielose-Hypothese“: Dichte, zufällig initialisierte, feed-forward Netzwerke enthalten Unterstrukturen („Gewinnende Lose“), die – wenn sie isoliert trainiert werden – in einer vergleichbaren Anzahl von Iterationen eine Testgenauigkeit erreichen, die der des ursprünglichen Netzwerks entspricht. Die von uns gefundenen Gewinnenden Lose haben die Initialisierungs-Lotterie gewonnen: ihre Verbindungen verfügen über Anfangsgewichte, die den Trainingsprozess besonders effektiv machen. Wir präsentieren einen Algorithmus zur Identifizierung solcher Gewinnender Lose sowie eine Reihe von Experimenten, die die Lotterielose-Hypothese und die Bedeutung dieser zufälligen Initialisierungen unterstützen. Wir finden konsistent Gewinnende Lose, die weniger als 10–20 % der Größe mehrerer vollständig verbundener und konvolutioneller feed-forward Architekturen für MNIST und CIFAR10 betragen. Bei dieser Größenordnung lernen die gefundenen Gewinnenden Lose schneller als das ursprüngliche Netzwerk und erreichen eine höhere Testgenauigkeit.