Gruppierte punktweise Faltungen reduzieren die Anzahl der Parameter in Faltungsneuralen Netzen

In tiefen konvolutionellen neuronalen Netzen (Deep Convolutional Neural Networks, DCNNs) wächst die Anzahl der Parameter in Pointwise-Konvolutionen rasch aufgrund der Multiplikation von Filtern und Eingangskanälen der vorhergehenden Schicht. Um diesem Anstieg entgegenzuwirken, schlagen wir eine neue Technik vor, die Pointwise-Konvolutionen parameter-effizient gestaltet, indem parallele Verzweigungen eingesetzt werden, wobei jede Verzweigung eine Gruppe von Filtern enthält und nur einen Teil der Eingangskanäle verarbeitet. Um die Lernfähigkeit der DCNNs nicht zu beeinträchtigen, schlagen wir vor, die Ausgaben der Filter aus den einzelnen Verzweigungen in den Zwischenschichten aufeinanderfolgender Pointwise-Konvolutionen zu interleave. Um die Wirksamkeit der vorgeschlagenen Methode zu demonstrieren, wenden wir sie auf verschiedene state-of-the-art-DCNN-Architekturen an, nämlich EfficientNet, DenseNet-BC L100, MobileNet und MobileNet V3 Large. Der Leistungsvergleich dieser DCNNs mit und ohne die vorgeschlagene Methode erfolgt anhand der Datensätze CIFAR-10, CIFAR-100, Cropped-PlantDoc und Oxford-IIIT Pet. Die experimentellen Ergebnisse zeigen, dass DCNNs, die mit der vorgeschlagenen Technik trainiert wurden, bei vollständigem Neutrainings vergleichbare Testgenauigkeiten wie die ursprünglichen Architekturen EfficientNet und MobileNet V3 Large erreichen, während gleichzeitig bis zu 90 % der Parameter und 63 % der Fließkomma-Operationen eingespart werden können.