Schneller Meta-Update-Strategie für geräuschrobuste tiefe Lernverfahren

Es wurde gezeigt, dass tiefe neuronale Netze anfällig für Überanpassung an verzerrte Trainingsdaten sind. Um dieses Problem anzugehen, verwendet Meta-Lernen ein Meta-Modell zur Korrektur der Trainingsverzerrung. Trotz der vielversprechenden Leistungen stellt der derzeitige, extrem langsame Trainingsprozess der Meta-Lernansätze derzeit die Hauptbegrenzung dar. In diesem Paper stellen wir eine neuartige, beschleunigte Meta-Update-Strategie (Faster Meta Update Strategy, FaMUS) vor, die den rechenintensivsten Schritt bei der Meta-Gradientenberechnung durch eine schnellere, schichtweise Approximation ersetzt. Experimentell beobachten wir, dass FaMUS nicht nur eine hinreichend genaue, sondern auch eine geringe Varianz aufweisende Approximation des Meta-Gradienten liefert. Um die Wirksamkeit des vorgeschlagenen Ansatzes zu überprüfen, führen wir umfangreiche Experimente auf zwei Aufgaben durch. Wir zeigen, dass unsere Methode zwei Drittel der Trainingszeit einsparen kann, während gleichzeitig eine vergleichbare oder sogar bessere Generalisierungsleistung erzielt wird. Insbesondere erreicht unsere Methode die derzeit beste Leistung sowohl bei synthetischen als auch bei realistischen verrauschten Etiketten und erzielt vielversprechende Ergebnisse bei der langen-Schwanz-Erkennung auf Standardbenchmarks.