Les Réseaux de Neurones Graphiques Anisotropes Sont-ils Nécessaires ?

Dans la communauté des réseaux de neurones sur graphes (GNN), la croyance courante veut que des modèles anisotropes — dans lesquels les messages échangés entre nœuds dépendent à la fois du nœud source et du nœud cible — soient nécessaires pour atteindre des performances de pointe. Les benchmarks réalisés jusqu’à présent ont montré que ces modèles surpassent leurs homologues isotropes — où les messages dépendent uniquement du nœud source. Dans ce travail, nous fournissons des preuves empiriques remettant en question cette vision : nous proposons un GNN isotrope, que nous appelons Efficient Graph Convolution (EGC), qui surpasse de manière cohérente des modèles anisotropes comparables, y compris les architectures populaires telles que GAT ou PNA, en exploitant des filtres adaptatifs variant spatialement. Outre les questions importantes soulevées pour la communauté des GNN, notre travail présente des implications concrètes et significatives en matière d’efficacité. EGC atteint une précision supérieure, tout en consommant moins de mémoire et en présentant une latence réduite, tout en étant particulièrement adapté à une implémentation sur accélérateurs, tout en pouvant être utilisé comme remplacement direct des architectures existantes. En tant que modèle isotrope, il nécessite une mémoire proportionnelle au nombre de sommets du graphe ($\mathcal{O}(V)$), tandis que les modèles anisotropes exigent une mémoire proportionnelle au nombre d’arêtes ($\mathcal{O}(E)$). Nous démontrons que EGC surpasse les approches existantes sur six jeux de données larges et diversifiés, et concluons en discutant des questions que notre travail soulève pour les recherches futures. Le code ainsi que les modèles pré-entraînés utilisés dans nos expériences sont disponibles à l’adresse suivante : https://github.com/shyam196/egc.