TNASP: Ein Transformer-basierter NAS-Predictor mit einem Selbstentwicklungskonzept

Predictor-basierte Neural Architecture Search (NAS) bleibt ein bedeutendes Forschungsthema, da sie darauf abzielt, den zeitaufwändigen Suchprozess herkömmlicher NAS-Methoden zu reduzieren. Ein leistungsfähiger Leistungsprädiktor bestimmt entscheidend die Qualität der schließlich gefundenen Modelle in predictor-basierten NAS-Ansätzen. Die meisten bestehenden Methoden trainieren modellbasierte Prädiktoren unter Verwendung einer Proxy-Datensatz-Struktur, was jedoch zu einer Leistungsabnahme und Problemen bezüglich der Generalisierbarkeit führen kann – hauptsächlich aufgrund ihrer begrenzten Fähigkeit, räumliche Topologieinformationen struktureller Graphdaten angemessen zu repräsentieren. Neben der unzureichenden Kodierung räumlicher Topologieinformationen nutzen diese Ansätze zudem keine zeitlichen Informationen, wie etwa frühere Evaluierungsergebnisse während des Trainings. Daher schlagen wir einen Transformer-basierten Leistungsprädiktor vor, kombiniert mit einer auf der Laplace-Matrix basierenden Positions-Encodierung, welche die Topologieinformationen präziser repräsentiert und auf den Suchräumen NAS-Bench-101, NAS-Bench-201 sowie DARTS eine bessere Leistung als bisherige State-of-the-Art-Methoden erzielt. Darüber hinaus stellen wir einen selbst-evolutionären Rahmen vor, der zeitliche Informationen vollständig als Leitfaden nutzt. Dieser Rahmen integriert die Bewertungen vorheriger Vorhersagen iterativ als Nebenbedingungen in die aktuelle Optimierungsschleife, wodurch die Leistung unseres Prädiktors weiter verbessert wird. Da dieser Rahmen modellunabhängig ist, kann er die Vorhersageleistung auf verschiedenen Backbone-Architekturen steigern. Unser vorgeschlagener Ansatz half uns, beim CVPR 2021 NAS Competition Track 2: Performance Prediction Track den zweiten Platz unter allen Teams zu erreichen.