Wirksamkeit von neuralen Vorhersagebasierten Zero-Shot NAS

Bei predictionsbasierten Neural Architecture Search (NAS) haben Leistungsindikatoren, die auf Graph-Convolutional Networks (GCNs) basieren, beachtliche Erfolge erzielt. Diese Indikatoren werden durch die Darstellung von Feed-Forward-Strukturen als Komponentengraphen mittels One-Hot-Codierung erreicht und leiden jedoch unter einer Einschränkung: Sie sind nicht in der Lage, die Leistung von Architekturen über verschiedene Suchräume hinweg zu bewerten. Im Gegensatz dazu können handgefertigte Leistungsindikatoren (Zero-Shot NAS), die dasselbe Architekturmodell mit zufälliger Initialisierung verwenden, über mehrere Suchräume hinweg generalisieren. Um diese Einschränkung zu überwinden, stellen wir einen neuartigen Ansatz für Zero-Shot NAS mittels Deep Learning vor. Unser Verfahren nutzt eine Fouriersumme aus Sinusfunktionen zur Codierung von Faltungs-Kernen, wodurch ein rechnerischer Feed-Forward-Graph mit einer Struktur erstellt werden kann, die der zu bewertenden Architektur ähnelt. Diese Codierungen sind lernbar und bieten eine umfassende Darstellung der topologischen Information der Architektur. Ein begleitendes mehrschichtiges Perzeptron (MLP) bewertet anschließend die Architekturen anhand ihrer Codierungen. Experimentelle Ergebnisse zeigen, dass unser Ansatz gegenüber früheren Methoden, die auf Graph-Convolutional Networks basieren, sowohl in Bezug auf die Korrelation auf dem NAS-Bench-201-Datensatz als auch in Bezug auf die Konvergenzgeschwindigkeit übertrifft. Darüber hinaus ist die von uns extrahierte Merkmalsdarstellung, die auf jedem NAS-Benchmark trainiert wurde, auf andere NAS-Benchmarks übertragbar und zeigt eine vielversprechende Generalisierbarkeit über mehrere Suchräume hinweg. Der Quellcode ist unter folgender URL verfügbar: https://github.com/minh1409/DFT-NPZS-NAS