Das Lotteriesiegen durch kontinuierliche Verdünnung

Die Suche nach effizienten, dünn besetzten tiefen neuronalen Netzwerken wird vor allem durch Pruning durchgeführt: das Training eines dichten, überparametrisierten Netzwerks und das anschließende Entfernen von Parametern, in der Regel durch die Anwendung einer manuell entwickelten Heuristik. Zudem legt die jüngste Hypothese des „Lottery Ticket“ nahe, dass es für ein typisches neuronales Netzwerk möglich ist, kleine Subnetze zu finden, die bei vergleichbaren Trainingskosten von Grund auf neu trainiert werden können und dabei die Leistung des ursprünglichen dichten Gegenstücks erreichen. Wir beleuchten grundlegende Aspekte von Pruning-Algorithmen, weisen auf fehlende Elemente in früheren Ansätzen hin und entwickeln eine Methode namens Continuous Sparsification (stetige Dünnbesetzung), die auf einer neuen Approximation einer unlösbaren $\ell_0$-Regularisierung basiert und dünn besetzte Netzwerke sucht. Wir vergleichen unsere Methode mit den führenden heuristischen Verfahren sowohl im Bereich des Prunings als auch der Ticket-Suche – dem Auffinden dünn besetzter Subnetze, die erfolgreich von einem frühen Iterationszustand neu trainiert werden können. Empirische Ergebnisse zeigen, dass wir den Stand der Technik in beiden Zielen übertreffen, sowohl bei verschiedenen Modellen als auch Datensätzen, einschließlich VGG auf CIFAR-10 und ResNet-50 auf ImageNet. Neben der Etablierung eines neuen Standards für Pruning bietet Continuous Sparsification auch eine schnelle parallele Ticket-Suche, was neue Anwendungen der Hypothese des „Lottery Ticket“ ermöglicht.