HyperAIHyperAI

Command Palette

Search for a command to run...

EleAtt-RNN : Ajouter de l'Attention aux Neurones dans les Réseaux de Neurones Récurents

Pengfei Zhang Jianru Xue, Member, IEEE Cuiling Lan, Member, IEEE Wenjun Zeng, Fellow, IEEE Zhanning Gao Nanning Zheng, Fellow, IEEE

Résumé

Les réseaux de neurones récurrents (RNNs) sont capables de modéliser les dépendances temporelles des données séquentielles complexes. En général, les structures actuelles des RNNs tendent à se concentrer sur le contrôle des contributions de l'information actuelle et précédente. Cependant, l'exploration des différents niveaux d'importance des éléments au sein d'un vecteur d'entrée est souvent négligée. Nous proposons une porte d'attention élément par élément (Element-wise-Attention Gate, EleAttG) simple mais efficace, qui peut être facilement ajoutée à un bloc RNN (par exemple, tous les neurones RNN dans une couche RNN), afin d'octroyer aux neurones RNN une capacité d'attention. Pour un bloc RNN, une EleAttG est utilisée pour moduler l'entrée de manière adaptative en attribuant différents niveaux d'importance, c'est-à-dire de l'attention, à chaque élément/dimension de l'entrée. Nous désignons un bloc RNN équipé d'une EleAttG comme un bloc EleAtt-RNN. Au lieu de moduler l'entrée dans son ensemble, la EleAttG module l'entrée avec une granularité fine, c'est-à-dire élément par élément, et cette modulation est adaptative au contenu. La porte d'attention proposée (EleAttG), en tant qu’unité fondamentale supplémentaire, est générale et peut être appliquée à toute structure de RNN, par exemple, aux RNN standards, aux mémoires à court et long terme (Long Short-Term Memory, LSTM) ou aux unités récurrentes à portes (Gated Recurrent Unit, GRU). Nous démontrons l’efficacité du EleAtt-RNN proposé en l’appliquant à différentes tâches telles que la reconnaissance d’actions à partir de données basées sur le squelette et de vidéos RGB, la reconnaissance de gestes et la classification séquentielle MNIST. Les expériences montrent que l’ajout de capacités attentionnelles via les EleAttGs aux blocs RNN améliore considérablement les performances des RNNs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp