HyperAIHyperAI

Command Palette

Search for a command to run...

Pfad-Level Netzwerktransformation für effiziente Architektursuche

Han Cai Jiacheng Yang Weinan Zhang Song Han Yong Yu

Zusammenfassung

Wir stellen eine neue funktionserhaltende Transformation für eine effiziente Suchstrategie neuronaler Architekturen vor. Diese Netzwerktransformation ermöglicht es, bereits trainierte Netzwerke und bestehende erfolgreiche Architekturen wiederverwenden zu können, was die Stichprobeneffizienz verbessert. Unser Ziel ist es, die Einschränkung der aktuellen Netzwerktransformationen zu überwinden, die nur Schicht-Level-Architekturmodifikationen durchführen können, wie z.B. das Hinzufügen (Abschneiden) von Filtern oder das Einfügen (Entfernen) einer Schicht, was dazu führt, dass die Topologie der Verbindungswege nicht verändert wird. Die von uns vorgeschlagenen Pfad-Level-Transformationen ermöglichen es dem Metacontroller, die Pfadtopologie des gegebenen Netzwerks zu modifizieren, während er die Vorteile der Wiederverwendung von Gewichten beibehält. Dies ermöglicht es, effektive Strukturen mit komplexer Pfadtopologie wie bei Inception-Modellen effizient zu entwerfen. Des Weiteren schlagen wir einen bidirektionalen baumförmigen Reinforcement-Learning-Metacontroller vor, um einen einfachen aber hochausdrucksstarken baumförmigen Architekturraum zu erkunden, der als Verallgemeinerung von mehrzweigigen Architekturen angesehen werden kann. Wir führten Experimente auf Bildklassifikationsdatensätzen mit begrenzten Rechenressourcen (ca. 200 GPU-Stunden) durch und konnten eine verbesserte Parameter-Effizienz sowie bessere Testergebnisse feststellen (97,70 % Testgenauigkeit auf CIFAR-10 mit 14,3 Mio. Parametern und 74,6 % Top-1-Genauigkeit auf ImageNet im mobilen Szenario). Diese Ergebnisse zeigen die Effektivität und Übertragbarkeit unserer entworfenen Architekturen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp