Erscheinungsbild- und Strukturbewusste Robuste Tiefenvisuelle Graphenübereinstimmung: Angriff, Verteidigung und darüber hinaus

Trotz des jüngsten Durchbruchs hochgenauer tiefer Graphenübereinstimmung (GM) bei visuellen Bildern wird die Robustheit tiefer GM-Modelle selten untersucht, obwohl sich gezeigt hat, dass dies ein zentrales Problem in modernen tiefen Netzen ist – von der Bilderkennung bis hin zu Graphenlernaufgaben. Wir zeigen zunächst, dass ein adversarialer Angriff auf die Lokalitäten von Keypoints sowie auf die versteckten Graphen erhebliche Genauigkeitsverluste bei tiefen GM-Modellen verursachen kann. Daraufhin stellen wir unsere Verteidigungsstrategie vor: Appearance and Structure Aware Robust Graph Matching (ASAR-GM). Insbesondere entwickeln wir im Gegensatz zur etablierten adversarialen Trainingsmethode (AT) einen Appearance Aware Regularizer (AAR), der auf solchen appearance-ähnlichen Keypoints zwischen Graphen basiert, die leicht zu Verwirrung führen könnten. Experimentelle Ergebnisse zeigen, dass ASAR-GM gegenüber AT eine höhere Robustheit erreicht. Darüber hinaus kann unser Lokalitätsangriff als Technik zur Datenaugmentation eingesetzt werden und selbst state-of-the-art GM-Modelle auf sauberen Testdatensätzen verbessern. Der Quellcode ist unter https://github.com/Thinklab-SJTU/RobustMatch verfügbar.