Réseaux de neurones faisceaux avec laplaciens de connexion

Un réseau de neurones en faisceau (Sheaf Neural Network, SNN) est un type de réseau de neurones sur graphe (Graph Neural Network, GNN) qui opère sur un faisceau, une structure mathématique qui associe des espaces vectoriels aux nœuds et aux arêtes d’un graphe, ainsi que des applications linéaires entre ces espaces. Les SNN ont démontré des propriétés théoriques utiles, permettant de faire face à des défis tels que l’hétérophilie et le sur-lissage. Une difficulté inhérente à ces modèles réside dans la recherche d’un faisceau pertinent pour la tâche à résoudre. Les travaux antérieurs ont proposé deux approches radicalement opposées : construire manuellement le faisceau à partir de connaissances du domaine, ou apprendre le faisceau de manière end-to-end à l’aide de méthodes basées sur le gradient. Toutefois, les connaissances du domaine sont souvent insuffisantes, tandis que l’apprentissage du faisceau peut entraîner un sur-apprentissage (overfitting) et un surcroît important de charge computationnelle. Dans ce travail, nous proposons une nouvelle méthode de calcul des faisceaux, inspirée de la géométrie riemannienne : nous exploitons l’hypothèse de variété pour calculer des applications orthogonales adaptées à la fois à la variété et au graphe, alignant de manière optimale les espaces tangents de points voisins. Nous montrons que cette approche atteint des résultats prometteurs tout en réduisant significativement la charge computationnelle par rapport aux modèles SNN antérieurs. Globalement, ce travail établit un lien intéressant entre la topologie algébrique et la géométrie différentielle, et nous espérons qu’il stimulera des recherches futures dans cette direction.