DU-DARTS: Die Reduzierung der Unsicherheit bei der differenzierbaren Architektursuche
{Xiaowei Li Yiming Zeng Jilin Mei Zihao Sun Longxing Yang Yu Hu Shun Lu}

Abstract
Differentiable Neural Architecture Search (DARTS) erregt aufgrund seiner hohen Effizienz in letzter Zeit erhebliche Forschungsinteresse. Allerdings führt der Wettbewerb zwischen den Kandidatenoperationen in DARTS zu einer hohen Unsicherheit bei der Auswahl der tatsächlich wichtigen Operation, was zu einem erheblichen Leistungsabfall führen kann. In dieser Arbeit verringern wir die Unsicherheit bei differentieller Architektursuche (DU-DARTS), indem wir die Verteilung der Architekturparameter an die One-Hot-kategoriale Verteilung anpassen und die Null-Operation durch einen Gate-Schalter ersetzen. Ohne zusätzlichen Suchaufwand erreicht unsere Methode state-of-the-art-Leistungen mit einem Testfehler von jeweils 2,32 %, 16,74 % und 24,1 % auf den Datensätzen CIFAR-10, CIFAR-100 und ImageNet. Darüber hinaus kann DU-DARTS robust eine herausragende Architektur auf NAS-Bench-1Shot1 und NAS-Bench-201 finden, was die Wirksamkeit unserer Methode weiter unterstreicht. Der Quellcode ist unter https://github.com/ShunLu91/DU-DARTS verfügbar.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| neural-architecture-search-on-cifar-10 | DU-DARTS | Parameters: 3.8M Search Time (GPU days): 0.4 Top-1 Error Rate: 2.32% |
| neural-architecture-search-on-cifar-100-1 | DU-DARTS | PARAMS: 3.1M Percentage Error: 16.74 |
| neural-architecture-search-on-imagenet | DU-DARTS | Accuracy: 75.9 Params: 5.3M Top-1 Error Rate: 24.1 |
| neural-architecture-search-on-nas-bench-201 | DU-DARTS | Accuracy (Test): 45.94 |
| neural-architecture-search-on-nas-bench-201-1 | DU-DARTS | Accuracy (Test): 93.86 Accuracy (Val): 91.21 |
| neural-architecture-search-on-nas-bench-201-2 | DU-DARTS | Accuracy (Test): 71.84 Accuracy (Val): 71.88 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.