HyperAIHyperAI

Command Palette

Search for a command to run...

Schneller Meta-Update-Strategie für geräuschrobuste tiefe Lernverfahren

Youjiang Xu Linchao Zhu Lu Jiang Yi Yang

Zusammenfassung

Es wurde gezeigt, dass tiefe neuronale Netze anfällig für Überanpassung an verzerrte Trainingsdaten sind. Um dieses Problem anzugehen, verwendet Meta-Lernen ein Meta-Modell zur Korrektur der Trainingsverzerrung. Trotz der vielversprechenden Leistungen stellt der derzeitige, extrem langsame Trainingsprozess der Meta-Lernansätze derzeit die Hauptbegrenzung dar. In diesem Paper stellen wir eine neuartige, beschleunigte Meta-Update-Strategie (Faster Meta Update Strategy, FaMUS) vor, die den rechenintensivsten Schritt bei der Meta-Gradientenberechnung durch eine schnellere, schichtweise Approximation ersetzt. Experimentell beobachten wir, dass FaMUS nicht nur eine hinreichend genaue, sondern auch eine geringe Varianz aufweisende Approximation des Meta-Gradienten liefert. Um die Wirksamkeit des vorgeschlagenen Ansatzes zu überprüfen, führen wir umfangreiche Experimente auf zwei Aufgaben durch. Wir zeigen, dass unsere Methode zwei Drittel der Trainingszeit einsparen kann, während gleichzeitig eine vergleichbare oder sogar bessere Generalisierungsleistung erzielt wird. Insbesondere erreicht unsere Methode die derzeit beste Leistung sowohl bei synthetischen als auch bei realistischen verrauschten Etiketten und erzielt vielversprechende Ergebnisse bei der langen-Schwanz-Erkennung auf Standardbenchmarks.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp