HyperAIHyperAI
vor 2 Monaten

Pfad-Level Netzwerktransformation für effiziente Architektursuche

Han Cai; Jiacheng Yang; Weinan Zhang; Song Han; Yong Yu
Pfad-Level Netzwerktransformation für effiziente Architektursuche
Abstract

Wir stellen eine neue funktionserhaltende Transformation für eine effiziente Suchstrategie neuronaler Architekturen vor. Diese Netzwerktransformation ermöglicht es, bereits trainierte Netzwerke und bestehende erfolgreiche Architekturen wiederverwenden zu können, was die Stichprobeneffizienz verbessert. Unser Ziel ist es, die Einschränkung der aktuellen Netzwerktransformationen zu überwinden, die nur Schicht-Level-Architekturmodifikationen durchführen können, wie z.B. das Hinzufügen (Abschneiden) von Filtern oder das Einfügen (Entfernen) einer Schicht, was dazu führt, dass die Topologie der Verbindungswege nicht verändert wird. Die von uns vorgeschlagenen Pfad-Level-Transformationen ermöglichen es dem Metacontroller, die Pfadtopologie des gegebenen Netzwerks zu modifizieren, während er die Vorteile der Wiederverwendung von Gewichten beibehält. Dies ermöglicht es, effektive Strukturen mit komplexer Pfadtopologie wie bei Inception-Modellen effizient zu entwerfen. Des Weiteren schlagen wir einen bidirektionalen baumförmigen Reinforcement-Learning-Metacontroller vor, um einen einfachen aber hochausdrucksstarken baumförmigen Architekturraum zu erkunden, der als Verallgemeinerung von mehrzweigigen Architekturen angesehen werden kann. Wir führten Experimente auf Bildklassifikationsdatensätzen mit begrenzten Rechenressourcen (ca. 200 GPU-Stunden) durch und konnten eine verbesserte Parameter-Effizienz sowie bessere Testergebnisse feststellen (97,70 % Testgenauigkeit auf CIFAR-10 mit 14,3 Mio. Parametern und 74,6 % Top-1-Genauigkeit auf ImageNet im mobilen Szenario). Diese Ergebnisse zeigen die Effektivität und Übertragbarkeit unserer entworfenen Architekturen.