HyperAIHyperAI

Command Palette

Search for a command to run...

EleAtt-RNN: Aufmerksamkeit in Neuronen rekurrenter neuronaler Netze einfügen

Pengfei Zhang Jianru Xue Cuiling Lan Wenjun Zeng Zhanning Gao Nanning Zheng

Zusammenfassung

Rekurrente neuronale Netzwerke (RNNs) sind in der Lage, zeitliche Abhängigkeiten komplexer sequenzieller Daten zu modellieren. In der Regel konzentrieren sich derzeit verfügbare RNN-Architekturen darauf, die Beiträge von aktueller und vorheriger Information zu steuern. Die Berücksichtigung unterschiedlicher Bedeutungsgrade verschiedener Elemente innerhalb eines Eingabevektors wird jedoch häufig vernachlässigt. Wir schlagen einen einfachen, aber effektiven Element-weisen Aufmerksamkeits-Gate (EleAttG) vor, der problemlos in einen RNN-Block (z. B. alle RNN-Neuronen einer RNN-Schicht) integriert werden kann, um den RNN-Neuronen die Fähigkeit zur Aufmerksamkeit zu verleihen. Für einen RNN-Block wird ein EleAttG eingesetzt, um die Eingabe adaptiv zu modulieren, indem jedem Element/Dimension der Eingabe unterschiedliche Gewichtungen – also Aufmerksamkeitswerte – zugewiesen werden. Wir bezeichnen einen RNN-Block, der mit einem EleAttG ausgestattet ist, als EleAtt-RNN-Block. Im Gegensatz zur Modulation der Eingabe als Ganzes erfolgt die Modulation durch den EleAttG auf feiner Granularität, d. h. elementweise, und ist inhaltsadaptiv. Der vorgeschlagene EleAttG fungiert als zusätzliche grundlegende Einheit und ist allgemein anwendbar auf beliebige RNN-Architekturen, beispielsweise standard RNN, Long Short-Term Memory (LSTM) oder Gated Recurrent Unit (GRU). Die Wirksamkeit des vorgeschlagenen EleAtt-RNN wird anhand verschiedener Aufgaben demonstriert, darunter Aktionserkennung sowohl aus skelettbasierten Daten als auch aus RGB-Videos, Gestenerkennung sowie die Klassifikation sequenzieller MNIST-Daten. Experimente zeigen, dass die Hinzufügung von Aufmerksamkeit mittels EleAttG-Blöcken die Leistungsfähigkeit von RNNs signifikant verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp