HyperAIHyperAI

Command Palette

Search for a command to run...

Diffusion de Faisceaux Neuronaux : Une Perspective Topologique sur l'Hétérophylie et le Sur-lissage dans les GNNs

Cristian Bodnar; Francesco Di Giovanni; Benjamin Paul Chamberlain; Pietro Liò; Michael M. Bronstein

Résumé

Les faisceaux cellulaires dotent les graphes d'une structure « géométrique » en attribuant des espaces vectoriels et des applications linéaires aux nœuds et aux arêtes. Les réseaux de neurones sur graphes (GNNs) supposent implicitement un graphe avec un faisceau sous-jacent trivial. Ce choix se reflète dans la structure de l'opérateur laplacien du graphe, les propriétés de l'équation de diffusion associée et les caractéristiques des modèles de convolution qui discrétisent cette équation. Dans cet article, nous utilisons la théorie des faisceaux cellulaires pour montrer que la géométrie sous-jacente du graphe est profondément liée à la performance des GNNs dans les contextes hétérophiles et à leur comportement de surlissage. En considérant une hiérarchie de faisceaux de plus en plus généraux, nous étudions comment la capacité du processus de diffusion par faisceau à atteindre une séparation linéaire des classes à la limite du temps infini s'étend. En même temps, nous démontrons que lorsque le faisceau est non trivial, les processus de diffusion paramétriques discrétisés ont un contrôle plus grand que les GNNs sur leur comportement asymptotique. Du côté pratique, nous examinons comment les faisceaux peuvent être appris à partir des données. Les modèles de diffusion par faisceau résultants possèdent de nombreuses propriétés souhaitables qui répondent aux limitations des équations classiques de diffusion sur graphes (et des modèles GNN correspondants) et obtiennent des résultats compétitifs dans les contextes hétérophiles. Dans l'ensemble, notre travail établit de nouvelles connexions entre les GNNs et la topologie algébrique et serait d'intérêt pour les deux domaines.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp