EPE-NAS: Effiziente Leistungsschätzung ohne Training für die neuronale Architektursuche

Neural Architecture Search (NAS) hat hervorragende Ergebnisse bei der Gestaltung von Architekturen für Aufgaben im Bereich des maschinellen Sehens erzielt. NAS reduziert den Bedarf an menschlich definierten Einstellungen, indem sie den Architektur-Entwurf und die Ingenieurarbeit automatisiert. Allerdings sind NAS-Methoden tendenziell langsam, da sie erhebliche Mengen an GPU-Rechenleistung erfordern. Dieser Engpass resultiert hauptsächlich aus der Leistungsabschätzungstrategie, die die Bewertung der generierten Architekturen – vor allem durch deren Training – erfordert, um den Sampling-Algorithmus zu aktualisieren. In diesem Paper stellen wir EPE-NAS vor, eine effiziente Leistungsabschätzungstrategie, die das Problem der Netzwerk-Evaluation durch die Bewertung untrainierter Netzwerke und die Schaffung einer Korrelation zu deren trainierter Leistung mildert. Dieses Verfahren basiert auf der Analyse von intra- und interklassigen Korrelationen in untrainierten Netzwerken. Wir zeigen, dass EPE-NAS eine robuste Korrelation erzeugen kann, und dass sich durch die Integration in eine einfache zufällige Sampling-Strategie wettbewerbsfähige Netzwerke innerhalb von Sekunden – unter Verwendung einer einzigen GPU – finden lassen, ohne dass ein Training erforderlich ist. Darüber hinaus ist EPE-NAS unabhängig von der Suchmethode, da sie sich ausschließlich auf die Bewertung untrainierter Netzwerke konzentriert, was eine einfache Integration in nahezu jede NAS-Methode ermöglicht.