Auto-distillation multi-tâche pour l'apprentissage semi-supervisé basé sur les graphes

Les réseaux de convolution sur graphes ont connu des progrès significatifs dans le cadre de l’apprentissage semi-supervisé basé sur les graphes. Les méthodes existantes supposent principalement que les nœuds reliés par des arêtes de graphe ont tendance à posséder des attributs et des étiquettes similaires, de sorte que les caractéristiques lissées par les structures locales du graphe permettent de révéler des similarités entre classes. Toutefois, dans de nombreux scénarios du monde réel, des incohérences existent fréquemment entre les structures de graphe et les étiquettes, où les structures peuvent propager des caractéristiques ou des étiquettes trompeuses, affectant ainsi négativement la performance du modèle. Dans ce travail, nous proposons un cadre de distillation auto-supervisée multi-tâches, intégrant l’apprentissage auto-supervisé et la distillation auto-supervisée dans les réseaux de convolution sur graphes, afin de traiter séparément le problème d’incohérence provenant du côté structurel et du côté étiquette. Premièrement, nous formulons une chaîne de traitement auto-supervisée basée sur des tâches pré-texte afin de capturer différentes échelles de similarité au sein des graphes. Le processus d’extraction de caractéristiques est encouragé à capturer une proximité plus complexe en optimisant conjointement la tâche pré-texte et la tâche cible. Par conséquent, les agrégations locales de caractéristiques sont améliorées du point de vue structurel. Deuxièmement, la distillation auto-supervisée utilise des étiquettes douces produites par le modèle lui-même comme supervision supplémentaire, ce qui a un effet similaire au lissage des étiquettes. Les connaissances provenant à la fois de la chaîne de classification et de la chaîne auto-supervisée sont collectivement distillées afin d’améliorer la capacité de généralisation du modèle du côté étiquette. Les résultats expérimentaux montrent que la méthode proposée obtient des gains de performance remarquables sur plusieurs architectures classiques de réseaux de convolution sur graphes.