Optimierung der neuronalen Architektursuche unter begrenzter GPU-Zeit in einem dynamischen Suchraum: Ein Ansatz basierend auf der Gen-Expressions-Programmierung

In den letzten Jahren hat sich die effiziente Erkennung von Personen und Objekten, die Segmentierung von Interessensregionen sowie die Extraktion relevanter Daten aus Bildern, Texten, Audiodaten und Videos erheblich weiterentwickelt, wobei tiefes Lernen in Kombination mit den jüngsten Fortschritten in der Rechenleistung maßgeblich dazu beigetragen hat. Obwohl das Potenzial dieser Ansätze außerordentlich ist, erfordert die Entwicklung effizienter Architekturen und Module weiterhin umfangreiche fachliche Expertise sowie erhebliche Ressourcen an Zeit und Rechenleistung. In diesem Artikel präsentieren wir einen evolutionär basierten Ansatz für die neuronale Architektursuche (Neural Architecture Search, NAS), um effizient konvolutionelle Modelle in einem dynamischen Suchraum zu entdecken – und zwar innerhalb von nur 24 GPU-Stunden. Durch die effiziente Suchumgebung und eine geeignete Phänotypendarstellung wird Gene Expression Programming (GEP) für die Generierung von Netzwerkzellen adaptiert. Trotz begrenzter GPU-Ressourcen und eines sehr umfangreichen Suchraums erreicht unser Ansatz Ergebnisse, die mit manuell entworfenen konvolutionellen Netzwerken sowie mit durch NAS generierten Modellen vergleichbar sind und sogar einige ähnliche evolutionär basierte NAS-Verfahren mit Einschränkungen übertreffen. Die besten Zellen zeigten in verschiedenen Durchläufen stabile Leistungen: auf dem CIFAR-10-Datensatz erzielte der beste Modell eine mittlere Fehlerquote von 2,82 % (beste Einzelleistung: 2,67 %), auf CIFAR-100 betrug die mittlere Fehlerquote 18,83 % (beste Einzelleistung: 18,16 %). Für ImageNet im mobilen Szenario erreichte unser bester Modell eine Top-1-Fehlerquote von 29,51 % und eine Top-5-Fehlerquote von 10,37 %. Obwohl evolutionär basierte NAS-Verfahren bisher als sehr ressourcenintensiv im Hinblick auf GPU-Zeit gelten, erzielt unser Ansatz mit vergleichsweise geringem Zeitaufwand vielversprechende Ergebnisse, was die weitere Erforschung evolutionärer NAS-Ansätze zur Verbesserung der Suchstrategien und der Netzwerkrepräsentation nachhaltig fördert.