EEEA-Net: Ein früher Ausgangs-entwickelter neuronaler Architektur-Suchalgorithmus

Ziel dieser Forschung war die Suche nach Convolutional Neural Network (CNN)-Architekturen, die für Prozessoren mit begrenzten Rechenressourcen geeignet sind und dabei signifikant geringere Kosten im Rahmen der Netzwerkarchitektursuche (Network Architecture Search, NAS) aufweisen. Dazu wurde ein neues Verfahren namens Early Exit Population Initialisation (EE-PI) für evolutionäre Algorithmen (Evolutionary Algorithm, EA) entwickelt, um beide Ziele zu erreichen. Das EE-PI-Verfahren reduziert die Gesamtanzahl der Parameter im Suchprozess, indem es Modelle mit einer Parameteranzahl unterhalb eines vorgegebenen Maximalwerts filtert. Modelle, deren Parameteranzahl den Schwellenwert überschreitet, werden durch neue Modelle ersetzt, die weniger Parameter aufweisen. Dadurch wird die Anzahl der Parameter, der Speicherbedarf für die Modellarchitektur und die Verarbeitungszeit verringert, ohne dass die Leistung oder Genauigkeit beeinträchtigt wird. Die Suchzeit konnte auf lediglich 0,52 GPU-Tage reduziert werden – ein erheblicher und bedeutender Fortschritt im Vergleich zu NAS-Ansätzen wie NSGA-Net (4 GPU-Tage), AmoebaNet (3.150 GPU-Tage) und NASNet (2.000 GPU-Tage). Zudem erzeugen Early Exit Evolutionary Algorithm Networks (EEEA-Nets) eine Klasse von Netzwerkarchitekturen mit minimalen Fehlerraten und geringem Rechenaufwand, die sich für bestimmte Datensätze eignen. In Experimenten mit den Datensätzen CIFAR-10, CIFAR-100 und ImageNet erreichte EEEA-Net die niedrigste Fehlerquote aller aktuellen NAS-Modelle: 2,46 % für CIFAR-10, 15,02 % für CIFAR-100 und 23,8 % für ImageNet. Darüber hinaus wurde diese Architektur für weitere Aufgaben wie Objekterkennung, semantische Segmentierung und Keypoint-Detektion implementiert. In unseren Experimenten übertraf EEEA-Net-C2 dabei MobileNet-V3 in allen diesen Aufgaben. (Der Algorithmus-Code ist unter https://github.com/chakkritte/EEEA-Net verfügbar.)