Tiefen Netze ohne Lernrate durch Wettbewetteinsätze trainieren

Tiefe Lernmethoden erreichen den aktuellen Stand der Technik in vielen Anwendungsszenarien. Dennoch erfordern diese Methoden eine erhebliche Anpassung von Hyperparametern, um die besten Ergebnisse zu erzielen. Insbesondere ist das Einstellen der Lernraten im stochastischen Optimierungsprozess weiterhin eine der Hauptausfallquellen. In dieser Arbeit schlagen wir ein neues Verfahren des stochastischen Gradientenabstiegs für tiefe Netzwerke vor, das keine Einstellung von Lernraten benötigt. Im Gegensatz zu früheren Methoden passen wir die Lernraten nicht an und machen auch keinen Gebrauch von der angenommenen Krümmung der Zielfunktion. Stattdessen reduzieren wir den Optimierungsprozess auf ein Spiel des Wetten auf eine Münze und schlagen einen lernratenfreien optimalen Algorithmus für dieses Szenario vor. Die theoretische Konvergenz wird für konvexe und quasikonvexe Funktionen bewiesen, und empirische Beweise zeigen den Vorteil unseres Algorithmus gegenüber gängigen stochastischen Gradientenalgorithmen.