HyperAIHyperAI

Command Palette

Search for a command to run...

Élargir l'espace de conception des réseaux neuronaux graphiques en repensant le Weisfeiler-Lehman folklorique

Jiarui Feng; Lecheng Kong; Hao Liu; Dacheng Tao; Fuhai Li; Muhan Zhang; Yixin Chen

Résumé

Les réseaux neuronaux à passage de messages (MPNNs) sont apparus ces dernières années comme le cadre le plus populaire des réseaux neuronaux sur graphes (GNNs). Cependant, leur puissance expressive est limitée par le test de Weisfeiler-Lehman en dimension 1 (1-WL). Certains travaux s'inspirent du kkk-WL/FWL (Weisfeiler-Lehman Folklore) pour concevoir les versions neuronales correspondantes. Malgré leur forte puissance expressive, ces recherches présentent des limitations importantes. En particulier : (1) le kkk-WL/FWL nécessite une complexité spatiale d'au moins O(nk)O(n^k)O(nk), ce qui est impraticable pour les grands graphes même lorsque k=3k=3k=3 ; (2) l'espace de conception du kkk-WL/FWL est rigide, avec le seul hyperparamètre ajustable étant kkk. Pour résoudre la première limitation, nous proposons une extension, (k,t)(k,t)(k,t)-FWL. Nous démontrons théoriquement que même si nous fixons la complexité spatiale à O(nk)O(n^k)O(nk) (pour tout k2k\geq 2k2) dans (k,t)(k,t)(k,t)-FWL, nous pouvons construire une hiérarchie d'expressivité jusqu'à résoudre le problème d'isomorphisme de graphes. Pour aborder la deuxième problématique, nous proposons kkk-FWL+, qui considère tout ensemble équivariant comme voisin au lieu de tous les nœuds, ce qui élargit considérablement l'espace de conception du kkk-FWL. La combinaison de ces deux modifications aboutit à un cadre flexible et puissant, (k,t)(k,t)(k,t)-FWL+. Nous montrons que (k,t)(k,t)(k,t)-FWL+ peut implémenter la plupart des modèles existants avec une expressivité équivalente. Nous introduisons ensuite une instance de (k,t)(k,t)(k,t)-FWL+ appelée Neighborhood2^22-FWL (N2^22-FWL), qui est solide tant sur le plan pratique que théorique. Nous prouvons que N2^22-FWL est au moins aussi puissant que 3-WL et peut encoder de nombreuses sous-structures tout en ne nécessitant qu'une complexité spatiale de O(n2)O(n^2)O(n2). Enfin, nous concevons sa version neuronale nommée N2^22-GNN et évaluons ses performances sur diverses tâches. N2^22-GNN obtient des résultats historiques sur ZINC-Subset (0,059), surpassant les résultats SOTA précédents de 10,6 %. De plus, N2^22-GNN atteint de nouveaux résultats SOTA sur l'ensemble de données BREC (71,8 %) parmi toutes les méthodes GNN existantes à haute expressivité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp