HyperAIHyperAI

Command Palette

Search for a command to run...

Entkoppelte dynamische Filternetzwerke

Jingkai Zhou Varun Jampani Zhixiong Pi Qiong Liu Ming-Hsuan Yang

Zusammenfassung

Die Faltung ist eines der grundlegenden Bausteine von CNN-Architekturen. Trotz ihrer weit verbreiteten Verwendung weisen die herkömmlichen Faltungen zwei Hauptnachteile auf: Sie sind inhaltsunabhängig und rechenintensiv. Dynamische Filter sind inhaltsadaptiv, erhöhen jedoch zusätzlich den Rechenaufwand. Tiefenweise Faltung ist eine leichtgewichtige Variante, führt jedoch typischerweise zu einer Leistungseinbuße bei CNNs oder erfordert eine größere Anzahl von Kanälen. In dieser Arbeit stellen wir den entkoppelten dynamischen Filter (Decoupled Dynamic Filter, DDF) vor, der beide Nachteile gleichzeitig adressiert. Inspiriert durch jüngste Fortschritte im Bereich der Aufmerksamkeit zerlegt DDF einen tiefenweise dynamischen Filter in einen räumlichen und einen kanaladaptiven Filter. Diese Zerlegung reduziert die Anzahl der Parameter erheblich und beschränkt die Berechnungskosten auf das Niveau der tiefenweisen Faltung. Gleichzeitig beobachten wir eine signifikante Leistungssteigerung, wenn wir standardmäßige Faltungen durch DDF in Klassifizierungsnetzwerken ersetzen. ResNet50 und ResNet101 erreichen eine Verbesserung der Top-1-Accuracy um jeweils 1,9 % und 1,3 %, während ihre Berechnungskosten nahezu halbiert werden. Experimente an Detektions- und gemeinsamen Upsampling-Netzwerken belegen zudem die überlegene Leistung der DDF-Up-Variante im Vergleich zu standardmäßiger Faltung und spezialisierten inhaltsadaptiven Schichten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp