Lassen wir es einfach, einfache Architekturen zur Überlegenheit gegenüber tieferen und komplexeren Architekturen nutzen.

Wichtige Convolutional Neural Networks (CNNs), wie AlexNet, VGGNet, ResNet und GoogleNet, enthalten zehn bis hundert Millionen Parameter, was erhebliche Rechen- und Speicherkosten verursacht. Dies begrenzt ihre praktische Anwendung in Bezug auf Training, Optimierung und Speichereffizienz. Im Gegensatz dazu leiden leichtgewichtige Architekturen, die zur Bewältigung dieses Problems vorgeschlagen wurden, hauptsächlich unter geringerer Genauigkeit. Diese Ineffizienzen stammen größtenteils aus der Anwendung eines ad-hoc-Prozedurs. Wir schlagen eine einfache Architektur vor, die SimpleNet genannt wird und auf einem Satz von Gestaltungsprinzipien basiert. Mit dieser Architektur zeigen wir empirisch, dass eine gut durchdachte, aber dennoch einfache und angemessen tiefe Struktur vergleichbare Leistungen mit tieferen und komplexeren Architekturen erzielen kann. SimpleNet bietet einen guten Kompromiss zwischen Rechen-/Speichereffizienz und Genauigkeit. Unsere einfache 13-schichtige Architektur übertrifft die meisten tieferen und komplexeren Architekturen wie VGGNet, ResNet und GoogleNet bei mehreren bekannten Benchmarks, während sie gleichzeitig 2 bis 25 Mal weniger Parameter und Operationen aufweist. Dies macht es sehr geeignet für eingebettete Systeme oder Systeme mit eingeschränkten Rechen- und Speicherressourcen. Wir erreichten den aktuellen Stand der Technik auf CIFAR10, indem wir mehrere schwerwiegendere Architekturen übertrafen; nahe am Stand der Technik lagen unsere Ergebnisse auf MNIST sowie wettbewerbsfähige Ergebnisse auf CIFAR100 und SVHN. Auch beim ImageNet-Datensatz übertrafen wir die viel größeren und tieferen Architekturen wie VGGNet sowie populäre Varianten von ResNets. Die Modelle sind unter folgender URL verfügbar: https://github.com/Coderx7/SimpleNet