Apprentissage profond du correspondance de graphes

Le problème d’appariement de graphes sous contraintes sur les nœuds et les paires de nœuds est fondamental dans des domaines aussi variés que l’optimisation combinatoire, l’apprentissage automatique ou la vision par ordinateur, où la représentation à la fois des relations entre nœuds et de leur structure de voisinage est essentielle. Nous proposons un modèle end-to-end permettant d’apprendre tous les paramètres du processus d’appariement de graphes, y compris les voisinages unaires et pairés des nœuds, représentés sous forme d’hiérarchies d’extraction de caractéristiques profondes. Le défi réside dans la formulation des différentes couches de calcul matriciel du modèle de manière à assurer une propagation cohérente et efficace des gradients sur l’ensemble du pipeline, depuis la fonction de perte, en passant par la couche d’optimisation combinatoire résolvant le problème d’appariement, jusqu’à l’hiérarchie d’extraction de caractéristiques. Nos expériences en vision par ordinateur ainsi que nos études d’ablation sur des jeux de données exigeants tels que PASCAL VOC keypoints, Sintel et CUB montrent que les modèles d’appariement affinés de manière end-to-end surpassent significativement leurs homologues basés sur des hiérarchies de caractéristiques entraînées pour d’autres problèmes.