Gruppierte punktweise Faltungen reduzieren die Anzahl der Parameter in EfficientNet signifikant

EfficientNet ist eine kürzlich vorgestellte Architektur für tiefe konvolutionale neuronale Netze (Deep Convolutional Neural Networks, DCNN), die proportional in Tiefe, Breite und Auflösung erweiterbar sein soll. Durch ihre verschiedenen Varianten erreicht sie state-of-the-art Genauigkeit beim ImageNet-Klassifizierungsaufgaben sowie bei anderen klassischen Benchmark-Aufgaben. Obwohl der Name auf die Effizienz hinweist – definiert als Verhältnis von Leistung (Genauigkeit) zu benötigten Ressourcen (Anzahl der trainierbaren Parameter, FLOPs) – untersuchen wir eine Methode, die die ursprüngliche Anzahl der trainierbaren Parameter um mehr als 84 % reduziert, ohne dabei die Genauigkeit signifikant zu beeinträchtigen. Unser Ansatz zielt darauf ab, die Punkt-convolutions (1x1-Konvolutionen) zu verbessern, deren Parameteranzahl aufgrund der Multiplikation der Anzahl der Filter mit der Anzahl der Eingangskanäle aus der vorherigen Schicht rasch ansteigt. Grundsätzlich besteht unsere Modifikation darin, die Filter in parallele Zweige zu gruppieren, wobei jeder Zweig nur einen Teil der Eingangskanäle verarbeitet. Durch diese Vorgehensweise nimmt jedoch die Lernfähigkeit des DCNN ab. Um diesen Effekt zu vermeiden, schlagen wir vor, die Ausgaben der Filter verschiedener Zweige in Zwischenschichten aufeinanderfolgender Punkt-convolutions zu wechseln (interleaving). Unsere Experimente mit dem CIFAR-10-Datensatz zeigen, dass unser optimiertes EfficientNet bei Neutraining von Grund auf eine vergleichbare Lernkapazität wie die ursprüngliche Architektur aufweist.