HyperAIHyperAI

Command Palette

Search for a command to run...

ParZC: Parametrische nullkostenbasierte Proxy-Modelle für eine effiziente NAS

Peijie Dong Lujun Li Xinglin Pan Zimian Wei Xiang Liu Qiang Wang Xiaowen Chu

Zusammenfassung

Neuere Fortschritte im Bereich des Zero-shot Neural Architecture Search (NAS) unterstreichen die Wirksamkeit von Zero-Cost-Proxy-Methoden in verschiedenen NAS-Benchmarks. Mehrere Studien schlagen die automatisierte Gestaltung von Zero-Cost-Proxies vor, um SOTA-Leistungen zu erzielen, erfordern jedoch aufwändige Suchprozesse. Darüber hinaus identifizieren wir ein kritisches Problem aktueller Zero-Cost-Proxies: Sie aggregieren knotenweise Zero-Cost-Statistiken, ohne zu berücksichtigen, dass nicht alle Knoten in einem neuronalen Netzwerk gleich stark auf die Leistungsschätzung einwirken. Unsere Beobachtungen zeigen, dass die beitragsweise Bedeutung knotenweiser Zero-Cost-Statistiken erheblich variiert und jeder Knoten mit einem bestimmten Grad an Unsicherheit behaftet ist. Aufgrund dieser Erkenntnis führen wir einen neuartigen Ansatz namens Parametric Zero-Cost Proxies (ParZC) ein, um die Anpassungsfähigkeit von Zero-Cost-Proxies durch Parametrisierung zu verbessern. Um die Problematik der Knotenindifferenz zu adressieren, schlagen wir eine Mixer-Architektur mit Bayes-Netzwerk (MABN) vor, um knotenweise Zero-Cost-Statistiken zu untersuchen und knotenspezifische Unsicherheiten zu schätzen. Zudem präsentieren wir DiffKendall als Verlustfunktion, die den Kendall-Tau-Koeffizienten differenzierbar direkt optimiert, sodass unser ParZC die Diskrepanzen bei der Architektur-Rangfolge besser bewältigen kann. Umfassende Experimente auf NAS-Bench-101, 201 und NDS belegen die Überlegenheit unseres vorgeschlagenen ParZC gegenüber bestehenden Zero-shot NAS-Methoden. Darüber hinaus zeigen wir die Vielseitigkeit und Anpassungsfähigkeit von ParZC, indem wir es auf den Suchraum von Vision Transformers übertragen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp