Command Palette
Search for a command to run...
HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
Niv Nayman Yonathan Aflalo Asaf Noy Lihi Zelnik-Manor
Zusammenfassung
Die praktische Anwendung neuronaler Netze erfordert oft die Einhaltung mehrerer Einschränkungen hinsichtlich Latenz, Energieverbrauch, Speicherbedarf und weiterer Faktoren. Ein gängiger Ansatz zur Suche nach geeigneten Netzarchitekturen besteht in der eingeschränkten neuronalen Architektursuche (Constrained Neural Architecture Search, NAS). Bisherige Methoden setzen diese Einschränkungen jedoch nur schwach durch, wodurch die resultierenden Netzwerke die Ressourcenbeschränkungen nicht exakt erfüllen und ihre Genauigkeit leidet. In dieser Arbeit lösen wir dieses Problem durch die Einführung von Hard Constrained diffeRentiable NAS (HardCoRe-NAS), das auf einer präzisen Formulierung des erwarteten Ressourcenverbrauchs und einer skalierbaren Suchmethode basiert, die die harten Beschränkungen während des gesamten Suchprozesses strikt erfüllt. Unsere Experimente zeigen, dass HardCoRe-NAS architektonisch hochstehende Modelle erzeugt, die andere NAS-Verfahren übertreffen, und dies unter strikter Einhaltung der harten Ressourcenbeschränkungen – ohne jegliche zusätzliche Abstimmung erforderlich.