HyperAIHyperAI

Command Palette

Search for a command to run...

Gruppierte punktweise Faltungen reduzieren die Anzahl der Parameter in EfficientNet signifikant

Domenec Puig Hatem Rashwan Mohamed Abdel-Nasser Santiago Romani Joao Paulo Schwarz Schuler

Zusammenfassung

EfficientNet ist eine kürzlich vorgestellte Architektur für tiefe konvolutionale neuronale Netze (Deep Convolutional Neural Networks, DCNN), die proportional in Tiefe, Breite und Auflösung erweiterbar sein soll. Durch ihre verschiedenen Varianten erreicht sie state-of-the-art Genauigkeit beim ImageNet-Klassifizierungsaufgaben sowie bei anderen klassischen Benchmark-Aufgaben. Obwohl der Name auf die Effizienz hinweist – definiert als Verhältnis von Leistung (Genauigkeit) zu benötigten Ressourcen (Anzahl der trainierbaren Parameter, FLOPs) – untersuchen wir eine Methode, die die ursprüngliche Anzahl der trainierbaren Parameter um mehr als 84 % reduziert, ohne dabei die Genauigkeit signifikant zu beeinträchtigen. Unser Ansatz zielt darauf ab, die Punkt-convolutions (1x1-Konvolutionen) zu verbessern, deren Parameteranzahl aufgrund der Multiplikation der Anzahl der Filter mit der Anzahl der Eingangskanäle aus der vorherigen Schicht rasch ansteigt. Grundsätzlich besteht unsere Modifikation darin, die Filter in parallele Zweige zu gruppieren, wobei jeder Zweig nur einen Teil der Eingangskanäle verarbeitet. Durch diese Vorgehensweise nimmt jedoch die Lernfähigkeit des DCNN ab. Um diesen Effekt zu vermeiden, schlagen wir vor, die Ausgaben der Filter verschiedener Zweige in Zwischenschichten aufeinanderfolgender Punkt-convolutions zu wechseln (interleaving). Unsere Experimente mit dem CIFAR-10-Datensatz zeigen, dass unser optimiertes EfficientNet bei Neutraining von Grund auf eine vergleichbare Lernkapazität wie die ursprüngliche Architektur aufweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp