HyperAIHyperAI

Command Palette

Search for a command to run...

EPE-NAS: Effiziente Leistungsschätzung ohne Training für die neuronale Architektursuche

Vasco Lopes Saeid Alirezazadeh Luís A. Alexandre

Zusammenfassung

Neural Architecture Search (NAS) hat hervorragende Ergebnisse bei der Gestaltung von Architekturen für Aufgaben im Bereich des maschinellen Sehens erzielt. NAS reduziert den Bedarf an menschlich definierten Einstellungen, indem sie den Architektur-Entwurf und die Ingenieurarbeit automatisiert. Allerdings sind NAS-Methoden tendenziell langsam, da sie erhebliche Mengen an GPU-Rechenleistung erfordern. Dieser Engpass resultiert hauptsächlich aus der Leistungsabschätzungstrategie, die die Bewertung der generierten Architekturen – vor allem durch deren Training – erfordert, um den Sampling-Algorithmus zu aktualisieren. In diesem Paper stellen wir EPE-NAS vor, eine effiziente Leistungsabschätzungstrategie, die das Problem der Netzwerk-Evaluation durch die Bewertung untrainierter Netzwerke und die Schaffung einer Korrelation zu deren trainierter Leistung mildert. Dieses Verfahren basiert auf der Analyse von intra- und interklassigen Korrelationen in untrainierten Netzwerken. Wir zeigen, dass EPE-NAS eine robuste Korrelation erzeugen kann, und dass sich durch die Integration in eine einfache zufällige Sampling-Strategie wettbewerbsfähige Netzwerke innerhalb von Sekunden – unter Verwendung einer einzigen GPU – finden lassen, ohne dass ein Training erforderlich ist. Darüber hinaus ist EPE-NAS unabhängig von der Suchmethode, da sie sich ausschließlich auf die Bewertung untrainierter Netzwerke konzentriert, was eine einfache Integration in nahezu jede NAS-Methode ermöglicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp