HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

DU-DARTS: Die Reduzierung der Unsicherheit bei der differenzierbaren Architektursuche

{Xiaowei Li Yiming Zeng Jilin Mei Zihao Sun Longxing Yang Yu Hu Shun Lu}

DU-DARTS: Die Reduzierung der Unsicherheit bei der differenzierbaren Architektursuche

Abstract

Differentiable Neural Architecture Search (DARTS) erregt aufgrund seiner hohen Effizienz in letzter Zeit erhebliche Forschungsinteresse. Allerdings führt der Wettbewerb zwischen den Kandidatenoperationen in DARTS zu einer hohen Unsicherheit bei der Auswahl der tatsächlich wichtigen Operation, was zu einem erheblichen Leistungsabfall führen kann. In dieser Arbeit verringern wir die Unsicherheit bei differentieller Architektursuche (DU-DARTS), indem wir die Verteilung der Architekturparameter an die One-Hot-kategoriale Verteilung anpassen und die Null-Operation durch einen Gate-Schalter ersetzen. Ohne zusätzlichen Suchaufwand erreicht unsere Methode state-of-the-art-Leistungen mit einem Testfehler von jeweils 2,32 %, 16,74 % und 24,1 % auf den Datensätzen CIFAR-10, CIFAR-100 und ImageNet. Darüber hinaus kann DU-DARTS robust eine herausragende Architektur auf NAS-Bench-1Shot1 und NAS-Bench-201 finden, was die Wirksamkeit unserer Methode weiter unterstreicht. Der Quellcode ist unter https://github.com/ShunLu91/DU-DARTS verfügbar.

Benchmarks

BenchmarkMethodikMetriken
neural-architecture-search-on-cifar-10DU-DARTS
Parameters: 3.8M
Search Time (GPU days): 0.4
Top-1 Error Rate: 2.32%
neural-architecture-search-on-cifar-100-1DU-DARTS
PARAMS: 3.1M
Percentage Error: 16.74
neural-architecture-search-on-imagenetDU-DARTS
Accuracy: 75.9
Params: 5.3M
Top-1 Error Rate: 24.1
neural-architecture-search-on-nas-bench-201DU-DARTS
Accuracy (Test): 45.94
neural-architecture-search-on-nas-bench-201-1DU-DARTS
Accuracy (Test): 93.86
Accuracy (Val): 91.21
neural-architecture-search-on-nas-bench-201-2DU-DARTS
Accuracy (Test): 71.84
Accuracy (Val): 71.88

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
DU-DARTS: Die Reduzierung der Unsicherheit bei der differenzierbaren Architektursuche | Forschungsarbeiten | HyperAI