iDARTS: Verbesserung von DARTS durch Knoten-Normalisierung und Dekorrelationsdiskretisierung

Differentiable ARchiTecture Search (DARTS) nutzt eine kontinuierliche Relaxierung der Netzwerkrepräsentation und beschleunigt die Neural Architecture Search (NAS) um fast den Faktor Tausend in GPU-Tagen. Allerdings ist der Suchprozess von DARTS instabil und leidet unter schwerer Degradation, wenn die Anzahl der Trainingsepochs zunimmt, was dessen Anwendung einschränkt. In diesem Paper argumentieren wir, dass dieser Degradationsprozess durch unbalancierte Normen zwischen verschiedenen Knoten sowie stark korrelierte Ausgaben verschiedener Operationen verursacht wird. Wir stellen daraufhin eine verbesserte Version von DARTS, namens iDARTS, vor, um diese beiden Probleme anzugehen. Im Trainingsphase führt iDARTS eine Knotennormalisierung ein, um die Balance der Normen aufrechtzuerhalten. Im Diskretisierungsphase wird die kontinuierliche Architektur basierend auf der Ähnlichkeit zwischen den Ausgaben des Knotens und den entkoppelten Operationen approximiert, anstatt auf den Werten der Architekturparameter. Umfassende Evaluationen werden auf CIFAR-10 und ImageNet durchgeführt, wobei Fehlerraten von 2,25 % und 24,7 % innerhalb von 0,2 bzw. 1,9 GPU-Tagen für die Architektursuche berichtet werden, was die Effektivität von iDARTS belegt. Zusätzliche Analysen zeigen zudem, dass iDARTS gegenüber anderen DARTS-basierten Ansätzen Vorteile in Robustheit und Generalisierbarkeit aufweist.