Differenzierbarer Architektursuchalgorithmus mit zufälligen Merkmalen

Differentiable Architecture Search (DARTS) hat die Entwicklung von NAS-Techniken aufgrund seiner hohen Sucheffizienz und Wirksamkeit erheblich vorangetrieben, leidet jedoch unter Leistungseinbrüchen. In diesem Paper setzen wir uns darin zur Aufgabe, das Problem des Leistungseinbruchs bei DARTS aus zwei Perspektiven zu mildern. Erstens untersuchen wir die Ausdruckskraft des Supernetzes in DARTS und leiten daraufhin eine neue DARTS-Paradigma-Setup ab, das ausschließlich das Training von BatchNorm beinhaltet. Zweitens zeigen wir theoretisch, dass zufällige Merkmale die Hilfsfunktion der Skip-Connection im Supernetzoptimierungsprozess abschwächen und somit den Suchalgorithmus dazu veranlassen, eine fairere Auswahl der Operationen zu treffen, wodurch das Problem des Leistungseinbruchs gelöst wird. Wir implementieren DARTS und PC-DARTS mit zufälligen Merkmalen, um jeweils eine verbesserte Version namens RF-DARTS und RF-PC-DARTS zu erstellen. Experimentelle Ergebnisse zeigen, dass RF-DARTS eine Testgenauigkeit von \textbf{94,36\%} auf CIFAR-10 erreicht (was dem optimalsten Ergebnis in NAS-Bench-201 nahekommt) und beim Transfer von CIFAR-10 die neueste Stand der Technik für die Top-1-Testfehlerquote von \textbf{24,0\%} auf ImageNet erzielt. Zudem zeigt RF-DARTS eine robuste Leistung über drei Datensätze (CIFAR-10, CIFAR-100 und SVHN) und vier Suchräume (S1–S4). Darüber hinaus erzielt RF-PC-DARTS noch bessere Ergebnisse auf ImageNet mit einer Top-1-Testfehlerquote von \textbf{23,9\%} und einer Top-5-Testfehlerquote von \textbf{7,1\%}, wodurch es etablierte Methoden wie Single-Path-, Training-Free- und Partial-Channel-Paradigmen, die direkt auf ImageNet gesucht wurden, übertreffen kann.