HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

TNASP: Ein Transformer-basierter NAS-Predictor mit einem Selbstentwicklungskonzept

{Ji Liu Sen yang Jianchao Tan Jixiang Li Shun Lu}

TNASP: Ein Transformer-basierter NAS-Predictor mit einem Selbstentwicklungskonzept

Abstract

Predictor-basierte Neural Architecture Search (NAS) bleibt ein bedeutendes Forschungsthema, da sie darauf abzielt, den zeitaufwändigen Suchprozess herkömmlicher NAS-Methoden zu reduzieren. Ein leistungsfähiger Leistungsprädiktor bestimmt entscheidend die Qualität der schließlich gefundenen Modelle in predictor-basierten NAS-Ansätzen. Die meisten bestehenden Methoden trainieren modellbasierte Prädiktoren unter Verwendung einer Proxy-Datensatz-Struktur, was jedoch zu einer Leistungsabnahme und Problemen bezüglich der Generalisierbarkeit führen kann – hauptsächlich aufgrund ihrer begrenzten Fähigkeit, räumliche Topologieinformationen struktureller Graphdaten angemessen zu repräsentieren. Neben der unzureichenden Kodierung räumlicher Topologieinformationen nutzen diese Ansätze zudem keine zeitlichen Informationen, wie etwa frühere Evaluierungsergebnisse während des Trainings. Daher schlagen wir einen Transformer-basierten Leistungsprädiktor vor, kombiniert mit einer auf der Laplace-Matrix basierenden Positions-Encodierung, welche die Topologieinformationen präziser repräsentiert und auf den Suchräumen NAS-Bench-101, NAS-Bench-201 sowie DARTS eine bessere Leistung als bisherige State-of-the-Art-Methoden erzielt. Darüber hinaus stellen wir einen selbst-evolutionären Rahmen vor, der zeitliche Informationen vollständig als Leitfaden nutzt. Dieser Rahmen integriert die Bewertungen vorheriger Vorhersagen iterativ als Nebenbedingungen in die aktuelle Optimierungsschleife, wodurch die Leistung unseres Prädiktors weiter verbessert wird. Da dieser Rahmen modellunabhängig ist, kann er die Vorhersageleistung auf verschiedenen Backbone-Architekturen steigern. Unser vorgeschlagener Ansatz half uns, beim CVPR 2021 NAS Competition Track 2: Performance Prediction Track den zweiten Platz unter allen Teams zu erreichen.

Benchmarks

BenchmarkMethodikMetriken
neural-architecture-search-on-cifar-10TNASP
Parameters: 3.7M
Search Time (GPU days): 0.3
Top-1 Error Rate: 2.52%

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
TNASP: Ein Transformer-basierter NAS-Predictor mit einem Selbstentwicklungskonzept | Forschungsarbeiten | HyperAI