HyperAIHyperAI

Command Palette

Search for a command to run...

AsymmNet: Hin zu ultraleichten convolutionalen neuronalen Netzwerken durch asymmetrische Bottlenecks

Haojin Yang Zhen Shen Yucheng Zhao

Zusammenfassung

Tiefverbundene neuronale Netze (CNN) haben in einer Vielzahl von Anwendungen beeindruckende Ergebnisse erzielt. Die Nutzung dieser Modelle auf mobilen oder eingebetteten Geräten ist jedoch aufgrund der begrenzten Speicher- und Rechenressourcen schwierig. In jüngster Zeit hat der invertierte Residual-Block die dominierende Lösung für die Architekturgestaltung kompakter CNNs werden. In dieser Arbeit untersuchen wir systematisch die bestehenden Entwurfskonzepte und überdenken die funktionalen Eigenschaften der beiden Pointwise-Convolutionen innerhalb der invertierten Residual-Blöcke. Wir stellen einen neuen Entwurf vor, den wir asymmetrische Bottlenecks nennen. Genauer gesagt, passen wir die Dimension der ersten Pointwise-Convolution an, verbessern den Informationsfluss durch Merkmalswiederverwendung und übertragen die gesparten Berechnungen auf die zweite Pointwise-Convolution. Auf diese Weise können wir die Genauigkeit weiter steigern, ohne die Berechnungskosten zu erhöhen. Die asymmetrischen Bottlenecks können als direkte Ersatzkomponente für bestehende CNN-Blöcke verwendet werden. Dadurch lässt sich AsymmNet einfach durch Stapelung solcher Blöcke unter Berücksichtigung geeigneter Tiefe- und Breitenbedingungen erstellen. Umfangreiche Experimente zeigen, dass unser vorgeschlagener Blockentwurf für mobile Netzwerke vorteilhafter ist als die ursprünglichen invertierten Residual-Bottlenecks, insbesondere für ultraleichte CNNs im Bereich unter 220 M MAdds. Der Quellcode ist unter https://github.com/Spark001/AsymmNet verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp