HyperAIHyperAI

Command Palette

Search for a command to run...

Differenzierbarer Architektursuchalgorithmus mit zufälligen Merkmalen

Xuanyang Zhang Yonggang Li Xiangyu Zhang Yongtao Wang Jian Sun

Zusammenfassung

Differentiable Architecture Search (DARTS) hat die Entwicklung von NAS-Techniken aufgrund seiner hohen Sucheffizienz und Wirksamkeit erheblich vorangetrieben, leidet jedoch unter Leistungseinbrüchen. In diesem Paper setzen wir uns darin zur Aufgabe, das Problem des Leistungseinbruchs bei DARTS aus zwei Perspektiven zu mildern. Erstens untersuchen wir die Ausdruckskraft des Supernetzes in DARTS und leiten daraufhin eine neue DARTS-Paradigma-Setup ab, das ausschließlich das Training von BatchNorm beinhaltet. Zweitens zeigen wir theoretisch, dass zufällige Merkmale die Hilfsfunktion der Skip-Connection im Supernetzoptimierungsprozess abschwächen und somit den Suchalgorithmus dazu veranlassen, eine fairere Auswahl der Operationen zu treffen, wodurch das Problem des Leistungseinbruchs gelöst wird. Wir implementieren DARTS und PC-DARTS mit zufälligen Merkmalen, um jeweils eine verbesserte Version namens RF-DARTS und RF-PC-DARTS zu erstellen. Experimentelle Ergebnisse zeigen, dass RF-DARTS eine Testgenauigkeit von \textbf{94,36%} auf CIFAR-10 erreicht (was dem optimalsten Ergebnis in NAS-Bench-201 nahekommt) und beim Transfer von CIFAR-10 die neueste Stand der Technik für die Top-1-Testfehlerquote von \textbf{24,0%} auf ImageNet erzielt. Zudem zeigt RF-DARTS eine robuste Leistung über drei Datensätze (CIFAR-10, CIFAR-100 und SVHN) und vier Suchräume (S1–S4). Darüber hinaus erzielt RF-PC-DARTS noch bessere Ergebnisse auf ImageNet mit einer Top-1-Testfehlerquote von \textbf{23,9%} und einer Top-5-Testfehlerquote von \textbf{7,1%}, wodurch es etablierte Methoden wie Single-Path-, Training-Free- und Partial-Channel-Paradigmen, die direkt auf ImageNet gesucht wurden, übertreffen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp