Aggrégation-diffusion par réseaux neuronaux graphiques avec métastabilité

Les modèles de réseaux de neurones graphiques continus fondés sur des équations différentielles ont élargi l'architecture des réseaux de neurones graphiques (GNN). En raison du lien étroit entre la diffusion sur graphe et le passage de messages, les modèles basés sur la diffusion ont fait l'objet de nombreuses études. Toutefois, la diffusion conduit naturellement le système vers un état d'équilibre, ce qui entraîne des problèmes tels que le sur-lissage. À cet effet, nous proposons GRADE, un modèle inspiré par les équations d'agrégation-diffusion sur graphe, qui met en œuvre un équilibre subtil entre la diffusion non linéaire et l'agrégation induits par des potentiels d'interaction. Les représentations des nœuds obtenues à partir des équations d'agrégation-diffusion présentent une métastabilité, indiquant que les caractéristiques peuvent s'agréger en plusieurs clusters. De plus, les dynamiques à l'intérieur de ces clusters peuvent persister sur de longues durées, offrant ainsi un potentiel pour atténuer les effets de sur-lissage. Cette diffusion non linéaire dans notre modèle généralise les modèles existants basés sur la diffusion et établit un lien avec les GNN classiques. Nous démontrons que GRADE atteint des performances compétitives sur diverses benchmarks et atténue efficacement le problème de sur-lissage dans les GNN, comme le montre une énergie de Dirichlet améliorée.