HyperAIHyperAI

Command Palette

Search for a command to run...

Régularisation simple de GNN pour la prédiction des propriétés moléculaires en 3D et au-delà

Jonathan Godwin; Michael Schaarschmidt; Alexander Gaunt; Alvaro Sanchez-Gonzalez; Yulia Rubanova; Petar Veličković; James Kirkpatrick; Peter Battaglia

Résumé

Dans cet article, nous démontrons que la régularisation simple par le bruit peut être une méthode efficace pour résoudre le problème de sur-lissage des GNN (Graph Neural Networks). Tout d'abord, nous soutenons que les régularisateurs visant à atténuer le sur-lissage doivent non seulement pénaliser la similarité latente entre les nœuds, mais aussi encourager des représentations nodales significatives. À partir de cette observation, nous avons développé « Noisy Nodes » (Nœuds Bruyants), une technique simple consistant à corrompre le graphe d'entrée avec du bruit et à ajouter une perte au niveau des nœuds pour corriger ce bruit. La perte diversifiée au niveau des nœuds favorise la diversité latente des nœuds, tandis que l'objectif de débruitage encourage l'apprentissage de la variété du graphe. Notre régularisateur applique des méthodes bien étudiées de manière simple et directe, permettant même aux architectures génériques de surmonter le sur-lissage et d'obtenir des résultats de pointe dans les tâches de chimie quantique, ainsi que d'améliorer considérablement les résultats sur les ensembles de données du Open Graph Benchmark (OGB). Nos résultats suggèrent que Noisy Nodes peut servir de bloc complémentaire dans la boîte à outils des GNN.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp