Command Palette
Search for a command to run...
UPANets: Lernen aus den Universal Pixel Attention Networks
UPANets: Lernen aus den Universal Pixel Attention Networks
Ching-Hsun Tseng Shin-Jye Lee Jia-Nan Feng Shengzhong Mao Yu-Ping Wu Jia-Yu Shang Mou-Chung Tseng Xiao-Jun Zeng
Zusammenfassung
Bei der Bildklassifikation haben Netzwerke mit Skip-Verbindungen und dichter Verkettung die meisten Leaderboards dominiert. In jüngster Zeit, nach dem erfolgreichen Einsatz von Multi-Head-Attention in der natürlichen Sprachverarbeitung, ist klar geworden, dass heute entweder Transformer-ähnliche Modelle oder hybride CNNs mit Attention verwendet werden müssen. Letztere erfordern jedoch deutlich weniger Ressourcen zum Trainieren und bieten dabei eine optimale Balance. In dieser Arbeit schlagen wir UPANets vor, um CNNs die Fähigkeit zu verleihen, sowohl globale als auch lokale Informationen effektiv zu verarbeiten. UPANets kombiniert eine kanalweise Aufmerksamkeit mit einer hybriden Skip-dicht-verketteten Struktur. Zudem sorgt die extrem verkettete Architektur dafür, dass UPANets robust ist und eine glattere Verlustlandschaft aufweist. In Experimenten erreichte UPANets eine Genauigkeit von 96,47 % auf CIFAR-10, 80,29 % auf CIFAR-100 und 67,67 % auf Tiny ImageNet – wobei es die meisten bekannten und weit verbreiteten State-of-the-Art-Modelle übertrifft. Besonders hervorzuheben ist die hohe Parameter-Effizienz dieser Leistungen sowie die Tatsache, dass die Modelle nur auf einer einzigen GPU mit kundenspezifischem Setup trainiert wurden. Den Implementierungscode von UPANets stellen wir unter https://github.com/hanktseng131415go/UPANets zur Verfügung.