Neuronale Architekturübertragung

Neural Architecture Search (NAS) ist zu einem vielversprechenden Ansatz für die automatische Gestaltung von aufgabenbezogenen neuronalen Netzen geworden. Bestehende NAS-Methoden erfordern für jede Hardware- oder Zielvorgabe eine vollständige Suche, was aufgrund der potenziell großen Anzahl an Anwendungsszenarien rechnerisch unpraktisch ist. In diesem Paper stellen wir Neural Architecture Transfer (NAT) vor, um diese Einschränkung zu überwinden. NAT ist darauf ausgelegt, effizient aufgabenbezogene, maßgeschneiderte Modelle zu generieren, die unter mehreren konkurrierenden Zielen wettbewerbsfähig sind. Um dieses Ziel zu erreichen, lernen wir aufgabenbezogene Supernetze, aus denen spezialisierte Subnetze ohne zusätzlichen Training abgeleitet werden können. Der Schlüssel unseres Ansatzes liegt in einem integrierten, online durchgeführten Transfer-Lern- und mehrzielbasierten evolutionären Suchverfahren. Ein vortrainiertes Supernetz wird iterativ angepasst, während gleichzeitig nach aufgabenbezogenen Subnetzen gesucht wird. Wir demonstrieren die Wirksamkeit von NAT an 11 Benchmark-Aufgaben zur Bildklassifikation, die von großskaligen Multiklassen- bis hin zu kleinskaligen feinkörnigen Datensätzen reichen. In allen Fällen, einschließlich ImageNet, übertrifft NATNet unter mobilen Bedingungen ($\leq$ 600 M Multiply-Adds) die derzeit beste Leistung. Überraschenderweise profitieren insbesondere kleinere, feinkörnige Datensätze am stärksten von NAT. Gleichzeitig ist die Architektursuche und der Transfer um Größenordnungen effizienter als bestehende NAS-Methoden. Insgesamt zeigt die experimentelle Evaluierung, dass NAT über eine Vielzahl von Bildklassifikationsaufgaben und rechnerischen Zielen hinweg eine deutlich effektivere Alternative zu herkömmlichem Transfer-Lernen – beispielsweise durch Feinabstimmen der Gewichte einer bereits auf Standard-Datensätzen gelernten Architektur – darstellt. Der Quellcode ist unter https://github.com/human-analysis/neural-architecture-transfer verfügbar.