HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search

Die praktische Anwendung neuronaler Netze erfordert oft die Einhaltung mehrerer Einschränkungen hinsichtlich Latenz, Energieverbrauch, Speicherbedarf und weiterer Faktoren. Ein gängiger Ansatz zur Suche nach geeigneten Netzarchitekturen besteht in der eingeschränkten neuronalen Architektursuche (Constrained Neural Architecture Search, NAS). Bisherige Methoden setzen diese Einschränkungen jedoch nur schwach durch, wodurch die resultierenden Netzwerke die Ressourcenbeschränkungen nicht exakt erfüllen und ihre Genauigkeit leidet. In dieser Arbeit lösen wir dieses Problem durch die Einführung von Hard Constrained diffeRentiable NAS (HardCoRe-NAS), das auf einer präzisen Formulierung des erwarteten Ressourcenverbrauchs und einer skalierbaren Suchmethode basiert, die die harten Beschränkungen während des gesamten Suchprozesses strikt erfüllt. Unsere Experimente zeigen, dass HardCoRe-NAS architektonisch hochstehende Modelle erzeugt, die andere NAS-Verfahren übertreffen, und dies unter strikter Einhaltung der harten Ressourcenbeschränkungen – ohne jegliche zusätzliche Abstimmung erforderlich.