TNASP: Ein Transformer-basierter NAS-Predictor mit einem Selbstentwicklungskonzept
{Ji Liu Sen yang Jianchao Tan Jixiang Li Shun Lu}

Abstract
Predictor-basierte Neural Architecture Search (NAS) bleibt ein bedeutendes Forschungsthema, da sie darauf abzielt, den zeitaufwändigen Suchprozess herkömmlicher NAS-Methoden zu reduzieren. Ein leistungsfähiger Leistungsprädiktor bestimmt entscheidend die Qualität der schließlich gefundenen Modelle in predictor-basierten NAS-Ansätzen. Die meisten bestehenden Methoden trainieren modellbasierte Prädiktoren unter Verwendung einer Proxy-Datensatz-Struktur, was jedoch zu einer Leistungsabnahme und Problemen bezüglich der Generalisierbarkeit führen kann – hauptsächlich aufgrund ihrer begrenzten Fähigkeit, räumliche Topologieinformationen struktureller Graphdaten angemessen zu repräsentieren. Neben der unzureichenden Kodierung räumlicher Topologieinformationen nutzen diese Ansätze zudem keine zeitlichen Informationen, wie etwa frühere Evaluierungsergebnisse während des Trainings. Daher schlagen wir einen Transformer-basierten Leistungsprädiktor vor, kombiniert mit einer auf der Laplace-Matrix basierenden Positions-Encodierung, welche die Topologieinformationen präziser repräsentiert und auf den Suchräumen NAS-Bench-101, NAS-Bench-201 sowie DARTS eine bessere Leistung als bisherige State-of-the-Art-Methoden erzielt. Darüber hinaus stellen wir einen selbst-evolutionären Rahmen vor, der zeitliche Informationen vollständig als Leitfaden nutzt. Dieser Rahmen integriert die Bewertungen vorheriger Vorhersagen iterativ als Nebenbedingungen in die aktuelle Optimierungsschleife, wodurch die Leistung unseres Prädiktors weiter verbessert wird. Da dieser Rahmen modellunabhängig ist, kann er die Vorhersageleistung auf verschiedenen Backbone-Architekturen steigern. Unser vorgeschlagener Ansatz half uns, beim CVPR 2021 NAS Competition Track 2: Performance Prediction Track den zweiten Platz unter allen Teams zu erreichen.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| neural-architecture-search-on-cifar-10 | TNASP | Parameters: 3.7M Search Time (GPU days): 0.3 Top-1 Error Rate: 2.52% |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.