HyperAIHyperAI

Command Palette

Search for a command to run...

Mesure et atténuation du problème de sur-lissage pour les réseaux de neurones sur graphes vue du point de la topologie

Deli Chen Yankai Lin Wei Li Peng Li Jie Zhou Xu Sun

Résumé

Les réseaux de neurones sur graphes (GNNs) ont atteint des performances prometteuses sur une large gamme de tâches basées sur les graphes. Malgré leurs succès, une limitation majeure des GNNs réside dans le problème de sur-lissage (représentations indiscernables des nœuds appartenant à des classes différentes). Dans ce travail, nous présentons une étude systématique et quantitative du phénomène de sur-lissage dans les GNNs. Tout d’abord, nous introduisons deux métriques quantitatives, MAD et MADGap, pour mesurer respectivement le degré de lissage et celui de sur-lissage des représentations des nœuds du graphe. Ensuite, nous démontrons que le lissage est une caractéristique intrinsèque des GNNs, et que le facteur critique conduisant au sur-lissage est un faible rapport signal-bruit dans les messages reçus par les nœuds, un paramètre partiellement déterminé par la topologie du graphe. Enfin, nous proposons deux méthodes pour atténuer le problème du sur-lissage du point de vue topologique : (1) MADReg, qui ajoute un régularisateur basé sur MADGap à la fonction objectif d’entraînement ; (2) AdaGraph, qui optimise la topologie du graphe en fonction des prédictions du modèle. Des expériences étendues menées sur 7 jeux de données graphes largement utilisés, avec 10 modèles GNNs typiques, montrent que les deux méthodes proposées sont efficaces pour atténuer le sur-lissage, améliorant ainsi les performances de divers modèles GNNs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp