HyperAIHyperAI

Command Palette

Search for a command to run...

UPANets: Lernen aus den Universal Pixel Attention Networks

Ching-Hsun Tseng Shin-Jye Lee Jia-Nan Feng Shengzhong Mao Yu-Ping Wu Jia-Yu Shang Mou-Chung Tseng Xiao-Jun Zeng

Zusammenfassung

Bei der Bildklassifikation haben Netzwerke mit Skip-Verbindungen und dichter Verkettung die meisten Leaderboards dominiert. In jüngster Zeit, nach dem erfolgreichen Einsatz von Multi-Head-Attention in der natürlichen Sprachverarbeitung, ist klar geworden, dass heute entweder Transformer-ähnliche Modelle oder hybride CNNs mit Attention verwendet werden müssen. Letztere erfordern jedoch deutlich weniger Ressourcen zum Trainieren und bieten dabei eine optimale Balance. In dieser Arbeit schlagen wir UPANets vor, um CNNs die Fähigkeit zu verleihen, sowohl globale als auch lokale Informationen effektiv zu verarbeiten. UPANets kombiniert eine kanalweise Aufmerksamkeit mit einer hybriden Skip-dicht-verketteten Struktur. Zudem sorgt die extrem verkettete Architektur dafür, dass UPANets robust ist und eine glattere Verlustlandschaft aufweist. In Experimenten erreichte UPANets eine Genauigkeit von 96,47 % auf CIFAR-10, 80,29 % auf CIFAR-100 und 67,67 % auf Tiny ImageNet – wobei es die meisten bekannten und weit verbreiteten State-of-the-Art-Modelle übertrifft. Besonders hervorzuheben ist die hohe Parameter-Effizienz dieser Leistungen sowie die Tatsache, dass die Modelle nur auf einer einzigen GPU mit kundenspezifischem Setup trainiert wurden. Den Implementierungscode von UPANets stellen wir unter https://github.com/hanktseng131415go/UPANets zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
UPANets: Lernen aus den Universal Pixel Attention Networks | Paper | HyperAI