Deep Learning des Graphen-Matching

Das Problem der Graphenübereinstimmung unter Knoten- und Paarweisen-Beschränkungen ist grundlegend in Gebieten wie der kombinatorischen Optimierung, dem maschinellen Lernen oder der Computer Vision, wo die Darstellung sowohl der Beziehungen zwischen Knoten als auch ihrer Nachbarschaftsstruktur entscheidend ist. Wir präsentieren ein end-to-end-Modell, das es ermöglicht, alle Parameter des Graphenübereinstimmungsprozesses zu lernen, einschließlich der einstufigen und paarweisen Knotennachbarschaften, die als tiefe Merkmalsextraktionshierarchien repräsentiert werden. Die Herausforderung besteht darin, die verschiedenen Matrixberechnungsschichten des Modells so zu formulieren, dass eine konsistente und effiziente Gradientenweiterleitung über die gesamte Pipeline von der Verlustfunktion über die kombinatorische Optimierungsschicht, die das Übereinstimmungsproblem löst, bis hin zur Merkmalsextraktionshierarchie gewährleistet ist. Unsere Experimente in der Computer Vision sowie Ablationstudien auf anspruchsvollen Datensätzen wie PASCAL VOC Keypoints, Sintel und CUB zeigen, dass Übereinstimmungsmodelle, die end-to-end verfeinert wurden, gegenüber Modellen, die auf Merkmalsextraktionshierarchien basieren und für andere Aufgaben trainiert wurden, überlegen sind.