Geleitete evolutionäre neuronale Architektursuche mit effizienter Leistungsschätzung

Neural Architecture Search (NAS)-Methoden wurden erfolgreich bei Bildaufgaben mit hervorragenden Ergebnissen eingesetzt. Allerdings sind NAS-Methoden oft komplex und neigen dazu, bereits dann in lokale Minima zu konvergieren, wenn die generierten Architekturen anscheinend gute Leistungen erbringen. In dieser Arbeit wird GEA, ein neuartiger Ansatz für geführten NAS, vorgestellt. GEA leitet die Evolution durch die Exploration des Suchraums, indem in der Initialisierungsphase mehrere Architekturen mit einem Zero-Proxy-Schätzer generiert und bewertet werden, wobei lediglich die architektonisch bestbewertete Variante trainiert und für die nächste Generation beibehalten wird. Anschließend extrahiert GEA kontinuierlich Wissen über den Suchraum, ohne die Komplexität zu erhöhen, indem in jeder Generation mehrere Nachkommen aus einer bestehenden Architektur generiert werden. Zudem zwingt GEA die Ausnutzung der leistungsstärksten Architekturen durch Nachkommengenerationen, während gleichzeitig die Exploration durch Elternmutation gefördert wird und jüngere Architekturen gegenüber älteren bevorzugt werden. Experimentelle Ergebnisse belegen die Wirksamkeit des vorgeschlagenen Ansatzes, und umfassende Ablationstudien bewerten die Bedeutung verschiedener Parameter. Die Ergebnisse zeigen, dass GEA auf allen Datensätzen der Benchmarks NAS-Bench-101, NAS-Bench-201 und TransNAS-Bench-101 Zustand der Kunst-Leistungen erzielt.