Neural Architecture Search ohne Training

Die Zeit und der Aufwand, die bei der manuellen Gestaltung tiefer neuronaler Netzwerke entstehen, sind immens. Dies hat die Entwicklung von Neural Architecture Search (NAS)-Techniken zur Automatisierung dieses Entwurfs veranlasst. Allerdings sind NAS-Algorithmen oft langsam und kostspielig, da sie zahlreiche Kandidatennetzwerke trainieren müssen, um den Suchprozess zu unterstützen. Dieser Nachteil könnte gemildert werden, wenn wir die nach der Trainierung erreichbare Genauigkeit eines Netzwerks bereits aus seinem initialen Zustand teilweise vorhersagen könnten. In dieser Arbeit untersuchen wir die Überlappung der Aktivierungen zwischen Datensätzen in untrainierten Netzwerken und begründen, wie diese Überlappung ein Maß darstellt, das sinnvoll auf die zukünftige Leistung eines Netzwerks hinweist. Wir integrieren dieses Maß in einen einfachen Algorithmus, der es ermöglicht, leistungsstarke Netzwerke innerhalb von Sekunden auf einer einzigen GPU zu suchen, ohne dass ein Training erforderlich ist. Die Wirksamkeit unseres Ansatzes wird anhand von NAS-Bench-101, NAS-Bench-201, NATS-Bench und Network Design Spaces verifiziert. Unser Verfahren lässt sich problemlos mit aufwendigeren Suchmethoden kombinieren; wir untersuchen eine einfache Anpassung des regulierten evolutionären Suchverfahrens. Der Quellcode zur Reproduktion unserer Experimente ist unter https://github.com/BayesWatch/nas-without-training verfügbar.