Erkundung von zufällig verdrahteten neuronalen Netzen für die Bilderkennung

Neuronale Netze für die Bilderkennung sind durch umfangreiche manuelle Gestaltung von einfachen, kettengleichen Modellen zu Strukturen mit mehreren Verkabelungspfaden entwickelt worden. Der Erfolg von ResNets und DenseNets ist zum großen Teil auf ihre innovativen Verkabelungspläne zurückzuführen. Jetzt untersuchen Studien zur neuronalen Architektursuche (NAS) die gemeinsame Optimierung von Verkabelungs- und Operationsarten, wobei der Raum der möglichen Verkabelungen jedoch weiterhin eingeschränkt und von manueller Gestaltung beeinflusst ist, obwohl er durchsucht wird. In dieser Arbeit erforschen wir eine vielfältigere Menge an Konnektivitätsmustern unter dem Aspekt zufällig verkabelter neuronaler Netze. Dazu definieren wir zunächst das Konzept eines stochastischen Netzgenerators, der den gesamten Prozess der Netzgenerierung umfasst. Die Kapselung bietet eine einheitliche Sichtweise sowohl auf NAS als auch auf zufällig verkabelte Netze. Anschließend verwenden wir drei klassische Modelle für zufällige Graphen, um zufällig verkabelte Graphen für Netze zu generieren. Die Ergebnisse sind überraschend: mehrere Varianten dieser zufälligen Generatoren liefern Netzinstanzen, die eine wettbewerbsfähige Genauigkeit im ImageNet-Benchmark erreichen. Diese Ergebnisse deuten darauf hin, dass neue Bemühungen, bessere Netzgeneratoren zu entwerfen, zu neuen Durchbrüchen führen könnten, indem sie weniger eingeschränkte Suchräume mit mehr Platz für neuartige Designs erkunden.