Réseaux de neurones à attention cellulaire

Depuis leur introduction, les réseaux d’attention sur les graphes ont obtenu des résultats remarquables dans les tâches d’apprentissage de représentations de graphes. Toutefois, ces réseaux ne prennent en compte que les relations binaires entre les nœuds, ce qui limite leur capacité à exploiter pleinement les interactions d’ordre supérieur présentes dans de nombreux jeux de données du monde réel. Dans cet article, nous introduisons les Réseaux d’Attention Cellulaire (CANs), une architecture neuronale agissant sur des données définies sur les sommets d’un graphe, en représentant le graphe comme le 1-squelette d’un complexe cellulaire conçu pour capturer des interactions d’ordre supérieur. Plus précisément, nous exploitons les voisinages inférieurs et supérieurs, tels qu’encodés dans le complexe cellulaire, afin de concevoir deux mécanismes d’attention auto-évidente masquée indépendants, généralisant ainsi la stratégie classique d’attention sur les graphes. La méthode proposée dans les CANs est hiérarchique et comporte les étapes suivantes : i) un algorithme de levée (lifting) qui apprend des caractéristiques d’arêtes à partir des caractéristiques de nœuds ; ii) un mécanisme d’attention cellulaire permettant de déterminer la combinaison optimale des caractéristiques d’arêtes sur les voisins inférieurs et supérieurs ; iii) un mécanisme hiérarchique de pooling d’arêtes pour extraire un ensemble compact et significatif de caractéristiques. Les résultats expérimentaux montrent que CAN est une stratégie à faible complexité, qui se compare avantageusement aux résultats les plus récents dans les tâches d’apprentissage basées sur les graphes.