ParZC: Parametrische nullkostenbasierte Proxy-Modelle für eine effiziente NAS

Neuere Fortschritte im Bereich des Zero-shot Neural Architecture Search (NAS) unterstreichen die Wirksamkeit von Zero-Cost-Proxy-Methoden in verschiedenen NAS-Benchmarks. Mehrere Studien schlagen die automatisierte Gestaltung von Zero-Cost-Proxies vor, um SOTA-Leistungen zu erzielen, erfordern jedoch aufwändige Suchprozesse. Darüber hinaus identifizieren wir ein kritisches Problem aktueller Zero-Cost-Proxies: Sie aggregieren knotenweise Zero-Cost-Statistiken, ohne zu berücksichtigen, dass nicht alle Knoten in einem neuronalen Netzwerk gleich stark auf die Leistungsschätzung einwirken. Unsere Beobachtungen zeigen, dass die beitragsweise Bedeutung knotenweiser Zero-Cost-Statistiken erheblich variiert und jeder Knoten mit einem bestimmten Grad an Unsicherheit behaftet ist. Aufgrund dieser Erkenntnis führen wir einen neuartigen Ansatz namens Parametric Zero-Cost Proxies (ParZC) ein, um die Anpassungsfähigkeit von Zero-Cost-Proxies durch Parametrisierung zu verbessern. Um die Problematik der Knotenindifferenz zu adressieren, schlagen wir eine Mixer-Architektur mit Bayes-Netzwerk (MABN) vor, um knotenweise Zero-Cost-Statistiken zu untersuchen und knotenspezifische Unsicherheiten zu schätzen. Zudem präsentieren wir DiffKendall als Verlustfunktion, die den Kendall-Tau-Koeffizienten differenzierbar direkt optimiert, sodass unser ParZC die Diskrepanzen bei der Architektur-Rangfolge besser bewältigen kann. Umfassende Experimente auf NAS-Bench-101, 201 und NDS belegen die Überlegenheit unseres vorgeschlagenen ParZC gegenüber bestehenden Zero-shot NAS-Methoden. Darüber hinaus zeigen wir die Vielseitigkeit und Anpassungsfähigkeit von ParZC, indem wir es auf den Suchraum von Vision Transformers übertragen.