HyperAIHyperAI

Command Palette

Search for a command to run...

Gruppierte punktweise Faltungen reduzieren die Anzahl der Parameter in Faltungsneuralen Netzen

Domenec Puig Hatem Rashwan Mohamed Abdel-Nasser Santiago Romani Joao Paulo Schwarz Schuler

Zusammenfassung

In tiefen konvolutionellen neuronalen Netzen (Deep Convolutional Neural Networks, DCNNs) wächst die Anzahl der Parameter in Pointwise-Konvolutionen rasch aufgrund der Multiplikation von Filtern und Eingangskanälen der vorhergehenden Schicht. Um diesem Anstieg entgegenzuwirken, schlagen wir eine neue Technik vor, die Pointwise-Konvolutionen parameter-effizient gestaltet, indem parallele Verzweigungen eingesetzt werden, wobei jede Verzweigung eine Gruppe von Filtern enthält und nur einen Teil der Eingangskanäle verarbeitet. Um die Lernfähigkeit der DCNNs nicht zu beeinträchtigen, schlagen wir vor, die Ausgaben der Filter aus den einzelnen Verzweigungen in den Zwischenschichten aufeinanderfolgender Pointwise-Konvolutionen zu interleave. Um die Wirksamkeit der vorgeschlagenen Methode zu demonstrieren, wenden wir sie auf verschiedene state-of-the-art-DCNN-Architekturen an, nämlich EfficientNet, DenseNet-BC L100, MobileNet und MobileNet V3 Large. Der Leistungsvergleich dieser DCNNs mit und ohne die vorgeschlagene Methode erfolgt anhand der Datensätze CIFAR-10, CIFAR-100, Cropped-PlantDoc und Oxford-IIIT Pet. Die experimentellen Ergebnisse zeigen, dass DCNNs, die mit der vorgeschlagenen Technik trainiert wurden, bei vollständigem Neutrainings vergleichbare Testgenauigkeiten wie die ursprünglichen Architekturen EfficientNet und MobileNet V3 Large erreichen, während gleichzeitig bis zu 90 % der Parameter und 63 % der Fließkomma-Operationen eingespart werden können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp