HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de neurones à attention cellulaire

Lorenzo Giusti Claudio Battiloro Lucia Testa Paolo Di Lorenzo Stefania Sardellitti Sergio Barbarossa

Résumé

Depuis leur introduction, les réseaux d’attention sur les graphes ont obtenu des résultats remarquables dans les tâches d’apprentissage de représentations de graphes. Toutefois, ces réseaux ne prennent en compte que les relations binaires entre les nœuds, ce qui limite leur capacité à exploiter pleinement les interactions d’ordre supérieur présentes dans de nombreux jeux de données du monde réel. Dans cet article, nous introduisons les Réseaux d’Attention Cellulaire (CANs), une architecture neuronale agissant sur des données définies sur les sommets d’un graphe, en représentant le graphe comme le 1-squelette d’un complexe cellulaire conçu pour capturer des interactions d’ordre supérieur. Plus précisément, nous exploitons les voisinages inférieurs et supérieurs, tels qu’encodés dans le complexe cellulaire, afin de concevoir deux mécanismes d’attention auto-évidente masquée indépendants, généralisant ainsi la stratégie classique d’attention sur les graphes. La méthode proposée dans les CANs est hiérarchique et comporte les étapes suivantes : i) un algorithme de levée (lifting) qui apprend des caractéristiques d’arêtes à partir des caractéristiques de nœuds ; ii) un mécanisme d’attention cellulaire permettant de déterminer la combinaison optimale des caractéristiques d’arêtes sur les voisins inférieurs et supérieurs ; iii) un mécanisme hiérarchique de pooling d’arêtes pour extraire un ensemble compact et significatif de caractéristiques. Les résultats expérimentaux montrent que CAN est une stratégie à faible complexité, qui se compare avantageusement aux résultats les plus récents dans les tâches d’apprentissage basées sur les graphes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp