HyperAIHyperAI

Command Palette

Search for a command to run...

TNASP: Ein Transformer-basierter NAS-Predictor mit einem Selbstentwicklungskonzept

Ji Liu Sen yang Jianchao Tan Jixiang Li Shun Lu

Zusammenfassung

Predictor-basierte Neural Architecture Search (NAS) bleibt ein bedeutendes Forschungsthema, da sie darauf abzielt, den zeitaufwändigen Suchprozess herkömmlicher NAS-Methoden zu reduzieren. Ein leistungsfähiger Leistungsprädiktor bestimmt entscheidend die Qualität der schließlich gefundenen Modelle in predictor-basierten NAS-Ansätzen. Die meisten bestehenden Methoden trainieren modellbasierte Prädiktoren unter Verwendung einer Proxy-Datensatz-Struktur, was jedoch zu einer Leistungsabnahme und Problemen bezüglich der Generalisierbarkeit führen kann – hauptsächlich aufgrund ihrer begrenzten Fähigkeit, räumliche Topologieinformationen struktureller Graphdaten angemessen zu repräsentieren. Neben der unzureichenden Kodierung räumlicher Topologieinformationen nutzen diese Ansätze zudem keine zeitlichen Informationen, wie etwa frühere Evaluierungsergebnisse während des Trainings. Daher schlagen wir einen Transformer-basierten Leistungsprädiktor vor, kombiniert mit einer auf der Laplace-Matrix basierenden Positions-Encodierung, welche die Topologieinformationen präziser repräsentiert und auf den Suchräumen NAS-Bench-101, NAS-Bench-201 sowie DARTS eine bessere Leistung als bisherige State-of-the-Art-Methoden erzielt. Darüber hinaus stellen wir einen selbst-evolutionären Rahmen vor, der zeitliche Informationen vollständig als Leitfaden nutzt. Dieser Rahmen integriert die Bewertungen vorheriger Vorhersagen iterativ als Nebenbedingungen in die aktuelle Optimierungsschleife, wodurch die Leistung unseres Prädiktors weiter verbessert wird. Da dieser Rahmen modellunabhängig ist, kann er die Vorhersageleistung auf verschiedenen Backbone-Architekturen steigern. Unser vorgeschlagener Ansatz half uns, beim CVPR 2021 NAS Competition Track 2: Performance Prediction Track den zweiten Platz unter allen Teams zu erreichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp