Störungsgestützte Gradientenaktualisierung im Einheitsspace für tiefes Lernen

In der tiefen Lernens spielt die Optimierung eine entscheidende Rolle. Anhand der Bildklassifikation untersucht diese Arbeit Vor- und Nachteile der weit verbreiteten Optimierer und stellt einen neuen Optimierer vor: den Perturbated Unit Gradient Descent (PUGD)-Algorithmus, der die normalisierte Gradientenoperation innerhalb eines Tensors bei Störung erweitert, um im Einheitsraum zu aktualisieren. Durch eine Reihe von Experimenten und Analysen zeigen wir, dass PUGD eine lokal beschränkte Aktualisierung ermöglicht, was bedeutet, dass die Aktualisierungen zeitweise kontrolliert werden. Andererseits kann PUGD Modelle zu einem flachen Minimum führen, bei dem der Fehler annähernd konstant bleibt – nicht nur aufgrund der Eigenschaft, stationäre Punkte durch Gradientennormalisierung zu vermeiden, sondern auch durch die Untersuchung der Steilheit innerhalb der Einheitskugel. In einer Reihe strenger Experimente zeigt sich, dass PUGD Modellen eine state-of-the-art Top-1-Accuracy auf Tiny ImageNet ermöglicht und wettbewerbsfähige Ergebnisse auf CIFAR-{10, 100} erzielt. Der Quellcode wird unter folgendem Link öffentlich bereitgestellt: https://github.com/hanktseng131415go/PUGD.