Multi-Objective Evolutionäre Gestaltung von Deep Convolutional Neural Networks für die Bildklassifikation

Frühe Fortschritte bei der Architektur von Faltungsneuralen Netzen (CNNs) wurden hauptsächlich durch menschliches Fachwissen und aufwendige Entwurfsprozesse getrieben. Kürzlich wurde der Ansatz des Neural Architecture Search (NAS) vorgeschlagen, um den Netzwerkentwurf zu automatisieren und aufgabenabhängige Architekturen zu generieren. Obwohl bestehende Ansätze in der Bildklassifizierung konkurrenzfähige Leistungen erzielt haben, eignen sie sich nicht gut für Probleme mit begrenztem Rechenaufwand aus zwei Gründen: (1) Die resultierenden Architekturen sind entweder ausschließlich auf die Optimierung der Klassifizierungsleistung oder auf einen einzigen Einsatzszenario ausgerichtet; (2) Der Suchprozess erfordert in den meisten Ansätzen erhebliche Rechenressourcen. Um diese Einschränkungen zu überwinden, schlagen wir einen evolutionären Algorithmus zur Suche nach neuronalen Architekturen unter mehreren Zielen vor, wie beispielsweise Klassifizierungsleistung und Anzahl der Fließkommaoperationen (FLOPs). Der vorgeschlagene Ansatz behebt die erste Schwäche, indem er eine Menge von Architekturen generiert, die die gesamte Pareto-Front approximieren, durch genetische Operationen, die architektonische Komponenten schrittweise neu kombinieren und modifizieren. Unser Ansatz verbessert die Rechen-effizienz, indem er die Architekturen während der Suche sorgfältig verkleinert und gleichzeitig Muster, die in früheren erfolgreichen Architekturen häufig vorkommen, durch Bayessche Modell-Lernverfahren verstärkt. Die Kombination dieser beiden zentralen Beiträge ermöglicht eine effiziente Gestaltung von Architekturen, die sowohl in der Leistung konkurrenzfähig sind als auch in den meisten Fällen sowohl manuell als auch automatisch entworfene Architekturen auf Benchmark-Datensätzen für die Bildklassifizierung – einschließlich CIFAR, ImageNet und menschlicher Brust-Röntgenaufnahmen – übertreffen. Die Flexibilität, gleichzeitig mehrere Architekturvarianten für unterschiedliche Rechenanforderungen bereitzustellen, unterscheidet unseren Ansatz zudem deutlich von anderen Methoden in der Literatur. Der Quellcode ist unter https://github.com/mikelzc1990/nsganetv1 verfügbar.