Entropie de transfert dans les réseaux de neurones convolutionnels sur graphe

Les réseaux de neurones graphiques à convolution (GCN) sont des réseaux de neurones graphiques dans lesquels les opérations de convolution sont appliquées directement sur un graphe. Contrairement aux réseaux de neurones convolutionnels (CNN), les GCN sont conçus pour effectuer des inférences sur des graphes dont le nombre de nœuds peut varier et dont les nœuds ne sont pas ordonnés. Dans cette étude, nous abordons deux défis importants liés aux GCN : i) le sur-lissage (oversmoothing) ; et ii) l’utilisation des propriétés relationnelles entre nœuds (c’est-à-dire l’hétérophilie et l’homophilie). Le sur-lissage désigne la dégradation de la capacité discriminative des nœuds résultant d’aggrégations répétées. L’hétérophilie correspond à la tendance des nœuds de classes différentes à être connectés, tandis que l’homophilie désigne la tendance des nœuds similaires à s’connecter. Nous proposons une nouvelle stratégie pour relever ces défis dans les GCN, fondée sur la transfert d’entropie (Transfer Entropy, TE), une mesure de la quantité de transfert d’information dirigée entre deux nœuds variant dans le temps. Nos résultats montrent qu’en utilisant l’hétérophilie des nœuds et leurs degrés comme mécanisme de sélection de nœuds, combiné à des calculs de TE basés sur les caractéristiques, on améliore significativement la précision sur divers modèles GCN. Notre modèle peut être facilement adapté pour renforcer la précision de classification d’un modèle GCN. Toutefois, ce gain de performance s’accompagne d’une surcharge computationnelle importante lorsque la transfert d’entropie est calculée pour un grand nombre de nœuds du graphe.