HyperAIHyperAI

Command Palette

Search for a command to run...

Polynormer : Transformateur de graphe à expression polynomiale en temps linéaire

Chenhui Deng Zichao Yue Zhiru Zhang

Résumé

Les transformateurs de graphes (GT) sont apparus comme une architecture prometteuse, théoriquement plus expressive que les réseaux de neurones sur graphes basés sur le passage de messages (GNN). Toutefois, les modèles GT classiques présentent au moins une complexité quadratique, ce qui les empêche de s’échelonner à de grands graphes. Bien qu’une série de modèles GT linéaires ait été récemment proposée, ils demeurent inférieurs aux modèles GNN sur plusieurs jeux de données graphiques populaires, soulevant ainsi un enjeu critique concernant leur expressivité pratique. Pour équilibrer le compromis entre expressivité et évolutivité des GT, nous proposons Polynormer, un modèle GT à expression polynomiale et complexité linéaire. Polynormer repose sur un modèle de base novateur qui apprend un polynôme de degré élevé à partir des caractéristiques d’entrée. Pour garantir l’équivariance par permutation du modèle de base, nous l’intégrons séparément à la topologie du graphe et aux caractéristiques des nœuds, aboutissant ainsi à des modèles d’attention locaux et globaux équivariants. Par conséquent, Polynormer adopte une stratégie d’attention linéaire locale-vers-globale afin d’apprendre des polynômes équivariants de haut degré, dont les coefficients sont régulés par des scores d’attention. Polynormer a été évalué sur 13 jeux de données homophiles et hétérophiles, incluant des graphes de grande taille comptant des millions de nœuds. Les résultats expérimentaux étendus démontrent que Polynormer surpasser les meilleures architectures GNN et GT existantes sur la majorité des jeux de données, même en l’absence de fonctions d’activation non linéaires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp