HyperAIHyperAI

Command Palette

Search for a command to run...

Wirksamkeit von neuralen Vorhersagebasierten Zero-Shot NAS

Minh Le Nhan Nguyen Ngoc Hoang Luong

Zusammenfassung

Bei predictionsbasierten Neural Architecture Search (NAS) haben Leistungsindikatoren, die auf Graph-Convolutional Networks (GCNs) basieren, beachtliche Erfolge erzielt. Diese Indikatoren werden durch die Darstellung von Feed-Forward-Strukturen als Komponentengraphen mittels One-Hot-Codierung erreicht und leiden jedoch unter einer Einschränkung: Sie sind nicht in der Lage, die Leistung von Architekturen über verschiedene Suchräume hinweg zu bewerten. Im Gegensatz dazu können handgefertigte Leistungsindikatoren (Zero-Shot NAS), die dasselbe Architekturmodell mit zufälliger Initialisierung verwenden, über mehrere Suchräume hinweg generalisieren. Um diese Einschränkung zu überwinden, stellen wir einen neuartigen Ansatz für Zero-Shot NAS mittels Deep Learning vor. Unser Verfahren nutzt eine Fouriersumme aus Sinusfunktionen zur Codierung von Faltungs-Kernen, wodurch ein rechnerischer Feed-Forward-Graph mit einer Struktur erstellt werden kann, die der zu bewertenden Architektur ähnelt. Diese Codierungen sind lernbar und bieten eine umfassende Darstellung der topologischen Information der Architektur. Ein begleitendes mehrschichtiges Perzeptron (MLP) bewertet anschließend die Architekturen anhand ihrer Codierungen. Experimentelle Ergebnisse zeigen, dass unser Ansatz gegenüber früheren Methoden, die auf Graph-Convolutional Networks basieren, sowohl in Bezug auf die Korrelation auf dem NAS-Bench-201-Datensatz als auch in Bezug auf die Konvergenzgeschwindigkeit übertrifft. Darüber hinaus ist die von uns extrahierte Merkmalsdarstellung, die auf jedem NAS-Benchmark trainiert wurde, auf andere NAS-Benchmarks übertragbar und zeigt eine vielversprechende Generalisierbarkeit über mehrere Suchräume hinweg. Der Quellcode ist unter folgender URL verfügbar: https://github.com/minh1409/DFT-NPZS-NAS


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp