HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefen Netze ohne Lernrate durch Wettbewetteinsätze trainieren

Francesco Orabona* Tatiana Tommasi*

Zusammenfassung

Tiefe Lernmethoden erreichen den aktuellen Stand der Technik in vielen Anwendungsszenarien. Dennoch erfordern diese Methoden eine erhebliche Anpassung von Hyperparametern, um die besten Ergebnisse zu erzielen. Insbesondere ist das Einstellen der Lernraten im stochastischen Optimierungsprozess weiterhin eine der Hauptausfallquellen. In dieser Arbeit schlagen wir ein neues Verfahren des stochastischen Gradientenabstiegs für tiefe Netzwerke vor, das keine Einstellung von Lernraten benötigt. Im Gegensatz zu früheren Methoden passen wir die Lernraten nicht an und machen auch keinen Gebrauch von der angenommenen Krümmung der Zielfunktion. Stattdessen reduzieren wir den Optimierungsprozess auf ein Spiel des Wetten auf eine Münze und schlagen einen lernratenfreien optimalen Algorithmus für dieses Szenario vor. Die theoretische Konvergenz wird für konvexe und quasikonvexe Funktionen bewiesen, und empirische Beweise zeigen den Vorteil unseres Algorithmus gegenüber gängigen stochastischen Gradientenalgorithmen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp