HyperAIHyperAI

Command Palette

Search for a command to run...

NAS-OoD: Neural Architecture Search für Out-of-Distribution-Verallgemeinerung

Haoyue Bai Fengwei Zhou Lanqing Hong Nanyang Ye S.-H. Gary Chan Zhenguo Li

Zusammenfassung

Neuere Fortschritte im Bereich der Out-of-Distribution-(OoD)-Generalisierung haben die Robustheit tiefer Lernmodelle gegenüber Verteilungsverschiebungen aufgezeigt. Allerdings konzentrieren sich bestehende Ansätze primär auf OoD-Algorithmen wie Invariant Risk Minimierung, Domain Generalization oder stabiles Lernen, ohne die Auswirkung tiefer Modellarchitekturen auf die OoD-Generalisierung zu berücksichtigen, was zu suboptimalen Leistungen führen kann. Neural Architecture Search-(NAS)-Methoden suchen Architekturen basierend auf deren Leistung auf Trainingsdaten, was eine schlechte Generalisierungsfähigkeit für OoD-Aufgaben nach sich ziehen kann. In dieser Arbeit stellen wir robuste Neural Architecture Search für OoD-Generalisierung (NAS-OoD) vor, die die Architektur durch Gradientenabstieg bezüglich ihrer Leistung auf synthetisch generierten OoD-Daten optimiert. Konkret wird ein Datengenerator gelernt, um OoD-Daten zu synthetisieren, indem die Verluste, die von verschiedenen neuronalen Architekturen berechnet werden, maximiert werden. Gleichzeitig zielt die Architektursuche darauf ab, die optimalen Architekturparameter zu finden, die die Verluste auf den synthetischen OoD-Daten minimieren. Der Datengenerator und die neuronale Architektur werden dabei end-to-end gemeinsam optimiert, und der Minimax-Trainingsprozess ermöglicht effektiv die Entdeckung robuster Architekturen, die sich gut auf unterschiedliche Verteilungsverschiebungen generalisieren. Ausführliche experimentelle Ergebnisse zeigen, dass NAS-OoD auf verschiedenen OoD-Generalisierungsbenchmarks eine überlegene Leistung erzielt, wobei die tiefen Modelle nur eine deutlich geringere Anzahl an Parametern benötigen. Zudem reduziert die vorgeschlagene NAS-OoD-Methode auf einem realen Industriedatensatz die Fehlerrate um mehr als 70 % gegenüber dem Stand der Technik, was die praktische Relevanz des Ansatzes für reale Anwendungen belegt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp