Generalisierter globaler Rangbewusster neuronaler Architektur-Ranker für eine effiziente Suche nach Bildklassifizierern

Neural Architecture Search (NAS) ist ein leistungsfähiges Werkzeug zur Automatisierung des Entwurfs effektiver DNNs für die Bildverarbeitung. Zur Gestaltung eines effizienten Leistungsprädiktors für NAS wird das Ranking vorgeschlagen. Die bisherigen kontrastiven Methoden lösen das Ranking-Problem, indem sie Paare von Architekturen vergleichen und deren relative Leistung vorhersagen. Allerdings berücksichtigen sie nur die Rangordnung zwischen den beiden beteiligten Architekturen und ignorieren die Gesamtqualitätsverteilung des Suchraums, was zu Generalisierungsproblemen führen kann. Um solche Probleme, die durch eine lokale Perspektive verursacht werden, zu bewältigen, wird ein neuer Prädiktor vorgestellt, der Neural Architecture Ranker (NAR) genannt wird und sich auf die globale Qualitätsstufe einer bestimmten Architektur konzentriert. Der NAR untersucht die Qualitätsstufen des Suchraums global und klassifiziert jede einzelne Architektur entsprechend ihrer globalen Rangordnung in die zugehörige Stufe. Dadurch erlangt der Prädiktor Kenntnisse über die Leistungsverteilung des Suchraums, was seine Fähigkeit zur Generalisierung auf verschiedene Datensätze erleichtert. Gleichzeitig unterstützt die globale Qualitätsverteilung die Suchphase, indem Kandidaten direkt anhand der Statistiken der Qualitätsstufen ausgewählt werden können – ohne dass ein Suchalgorithmus wie beispielsweise Reinforcement Learning (RL) oder Evolutionäre Algorithmen (EA) trainiert werden muss. Dadurch wird die NAS-Pipeline vereinfacht und der rechnerische Aufwand reduziert. Der vorgeschlagene NAR erreicht auf zwei weit verbreiteten Datensätzen für NAS-Forschung eine bessere Leistung als die aktuellsten Ansätze. Auf dem umfangreichen Suchraum von NAS-Bench-101 findet der NAR bereits durch reinen Sampling die Architektur mit der Top-0,01‱-Leistung. Zudem zeigt er eine gute Generalisierbarkeit auf verschiedene Bild-Datensätze von NAS-Bench-201, nämlich CIFAR-10, CIFAR-100 und ImageNet-16-120, indem er jeweils die optimalen Architekturen identifiziert.