HyperAIHyperAI
vor 18 Tagen

DU-DARTS: Die Reduzierung der Unsicherheit bei der differenzierbaren Architektursuche

{Xiaowei Li, Yiming Zeng, Jilin Mei, Zihao Sun, Longxing Yang, Yu Hu, Shun Lu}
DU-DARTS: Die Reduzierung der Unsicherheit bei der differenzierbaren Architektursuche
Abstract

Differentiable Neural Architecture Search (DARTS) erregt aufgrund seiner hohen Effizienz in letzter Zeit erhebliche Forschungsinteresse. Allerdings führt der Wettbewerb zwischen den Kandidatenoperationen in DARTS zu einer hohen Unsicherheit bei der Auswahl der tatsächlich wichtigen Operation, was zu einem erheblichen Leistungsabfall führen kann. In dieser Arbeit verringern wir die Unsicherheit bei differentieller Architektursuche (DU-DARTS), indem wir die Verteilung der Architekturparameter an die One-Hot-kategoriale Verteilung anpassen und die Null-Operation durch einen Gate-Schalter ersetzen. Ohne zusätzlichen Suchaufwand erreicht unsere Methode state-of-the-art-Leistungen mit einem Testfehler von jeweils 2,32 %, 16,74 % und 24,1 % auf den Datensätzen CIFAR-10, CIFAR-100 und ImageNet. Darüber hinaus kann DU-DARTS robust eine herausragende Architektur auf NAS-Bench-1Shot1 und NAS-Bench-201 finden, was die Wirksamkeit unserer Methode weiter unterstreicht. Der Quellcode ist unter https://github.com/ShunLu91/DU-DARTS verfügbar.