HyperAIHyperAI

Command Palette

Search for a command to run...

Störungsgestützte Gradientenaktualisierung im Einheitsspace für tiefes Lernen

Ching-Hsun. Tseng Liu-Hsueh. Cheng Shin-Jye. Lee Xiaojun Zeng

Zusammenfassung

In der tiefen Lernens spielt die Optimierung eine entscheidende Rolle. Anhand der Bildklassifikation untersucht diese Arbeit Vor- und Nachteile der weit verbreiteten Optimierer und stellt einen neuen Optimierer vor: den Perturbated Unit Gradient Descent (PUGD)-Algorithmus, der die normalisierte Gradientenoperation innerhalb eines Tensors bei Störung erweitert, um im Einheitsraum zu aktualisieren. Durch eine Reihe von Experimenten und Analysen zeigen wir, dass PUGD eine lokal beschränkte Aktualisierung ermöglicht, was bedeutet, dass die Aktualisierungen zeitweise kontrolliert werden. Andererseits kann PUGD Modelle zu einem flachen Minimum führen, bei dem der Fehler annähernd konstant bleibt – nicht nur aufgrund der Eigenschaft, stationäre Punkte durch Gradientennormalisierung zu vermeiden, sondern auch durch die Untersuchung der Steilheit innerhalb der Einheitskugel. In einer Reihe strenger Experimente zeigt sich, dass PUGD Modellen eine state-of-the-art Top-1-Accuracy auf Tiny ImageNet ermöglicht und wettbewerbsfähige Ergebnisse auf CIFAR-{10, 100} erzielt. Der Quellcode wird unter folgendem Link öffentlich bereitgestellt: https://github.com/hanktseng131415go/PUGD.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp