HyperAIHyperAI

Command Palette

Search for a command to run...

Jenseits der Selbst-Attention: Externe Attention mit zwei linearen Schichten für visuelle Aufgaben

Meng-Hao Guo Zheng-Ning Liu Tai-Jiang Mu Shi-Min Hu

Zusammenfassung

Aufmerksamkeitsmechanismen, insbesondere Self-Attention, spielen eine zunehmend wichtige Rolle bei der tiefen Merkmalsdarstellung für visuelle Aufgaben. Self-Attention aktualisiert das Merkmal an jeder Position durch eine gewichtete Summe von Merkmalen, die auf Basis paarweiser Affinitäten über alle Positionen berechnet wird, um langreichweitige Abhängigkeiten innerhalb einer einzelnen Probe zu erfassen. Allerdings weist Self-Attention eine quadratische Komplexität auf und ignoriert potenzielle Korrelationen zwischen verschiedenen Proben. In dieser Arbeit wird ein neuartiger Aufmerksamkeitsmechanismus vorgestellt, den wir externes Aufmerksamkeit (external attention) nennen, der auf zwei externe, kleine, lernbare und gemeinsam genutzte Speicher basiert. Er lässt sich einfach durch zwei hintereinander geschaltete lineare Schichten sowie zwei Normalisierungsschichten implementieren und kann problemlos Self-Attention in etablierten Architekturen ersetzen. Externes Aufmerksamkeit weist eine lineare Komplexität auf und berücksichtigt implizit die Korrelationen zwischen allen Datensätzen. Darüber hinaus integrieren wir den Multi-Head-Mechanismus in das externe Aufmerksamkeitsmodell, um eine reine MLP-Architektur, die externe Aufmerksamkeits-MLP (EAMLP), für die Bildklassifikation zu entwickeln. Umfassende Experimente in den Bereichen Bildklassifikation, Objekterkennung, semantische Segmentierung, Instanzsegmentierung, Bildgenerierung und Punktwolkenanalyse zeigen, dass unsere Methode Ergebnisse erzielt, die mit denen des Self-Attention-Modells vergleichbar oder sogar überlegen sind, jedoch mit deutlich geringeren Rechen- und Speicherkosten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Jenseits der Selbst-Attention: Externe Attention mit zwei linearen Schichten für visuelle Aufgaben | Paper | HyperAI