DropEdge : Vers des réseaux de neurones convolutifs profonds sur les graphes pour la classification des nœuds

Le \emph{surapprentissage} (over-fitting) et le \emph{lissage excessif} (over-smoothing) sont deux obstacles majeurs au développement de réseaux de neurones convolutifs profonds pour les graphes (Graph Convolutional Networks, GCNs) dans la classification des nœuds. En particulier, le surapprentissage affaiblit la capacité de généralisation sur les petits ensembles de données, tandis que le lissage excessif entrave l'entraînement du modèle en isolant les représentations de sortie des caractéristiques d'entrée avec l'augmentation de la profondeur du réseau. Cet article propose DropEdge, une technique novatrice et flexible pour atténuer ces deux problèmes. Au cœur de cette méthode, DropEdge supprime aléatoirement un certain nombre d'arêtes du graphe d'entrée à chaque époque d'entraînement, agissant comme un augmentateur de données et également comme un réducteur de passage de messages. De plus, nous démontrons théoriquement que DropEdge soit réduit la vitesse de convergence du lissage excessif, soit atténue la perte d'information qu'il provoque. Plus important encore, notre technique DropEdge est une compétence générale qui peut être intégrée à de nombreux autres modèles principaux (par exemple, GCN, ResGCN, GraphSAGE et JKNet) pour améliorer leurs performances. Des expériences approfondies sur plusieurs benchmarks montrent que DropEdge améliore constamment les performances des GCNs, qu'ils soient peu profonds ou très profonds. L'effet de DropEdge dans la prévention du lissage excessif est également visualisé et validé empiriquement. Le code source est disponible sur~\url{https://github.com/DropEdge/DropEdge}.