HyperAIHyperAI

Command Palette

Search for a command to run...

Neubewertung von Depthwise Separable Convolutionen: Wie intra-kernel Korrelationen zu verbesserten MobileNets führen

Daniel Haase Manuel Amthor

Zusammenfassung

Wir führen blueprint-separable Convolutionen (BSConv) als hoch-effiziente Bausteine für CNNs ein. Sie werden durch quantitative Analysen von Kernel-Eigenschaften aus trainierten Modellen motiviert, die die Dominanz von Korrelationen entlang der Tiefenachse zeigen. Aufgrund unserer Erkenntnisse formulieren wir eine theoretische Grundlage, aus der wir effiziente Implementierungen unter Verwendung ausschließlich standardmäßiger Schichten ableiten. Zudem liefert unser Ansatz eine umfassende theoretische Ableitung, Interpretation und Begründung für die Anwendung von depthwise separable Convolutionen (DSCs), die mittlerweile die Grundlage vieler moderner Netzwerkarchitekturen bilden. Letztendlich zeigen wir, dass DSC-basierte Architekturen wie MobileNets implizit auf Kreuz-Kernel-Korrelationen angewiesen sind, während unsere BSConv-Formulierung auf intra-Kernel-Korrelationen basiert und somit eine effizientere Separierung von regulären Convolutionen ermöglicht. Umfangreiche Experimente auf großen und fein granulierten Klassifikationsdatensätzen zeigen, dass BSConv die Leistung von MobileNets und anderen DSC-basierten Architekturen klar und konsistent verbessert, ohne zusätzliche Komplexität einzuführen. Bei fein granulierten Datensätzen erreichen wir eine Verbesserung von bis zu 13,7 Prozentpunkten. Zudem übertrumpfen BSConv-Varianten, wenn als Drop-in-Ersatz für Standardarchitekturen wie ResNets eingesetzt, ihre ursprünglichen Versionen auf ImageNet um bis zu 9,5 Prozentpunkte. Der Quellcode und die Modelle sind unter https://github.com/zeiss-microscopy/BSConv verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neubewertung von Depthwise Separable Convolutionen: Wie intra-kernel Korrelationen zu verbesserten MobileNets führen | Paper | HyperAI