Robuste Szeneänderungserkennung mit visuellen Grundmodellen und Cross-Attention-Mechanismen

Wir präsentieren eine neuartige Methode zur Szeneänderungserkennung, die die robusten Merkmalsextraktionsfähigkeiten des visuellen Fundamentmodells DINOv2 nutzt und vollbildkreuzaufmerksamkeit (full-image cross-attention) integriert, um wichtige Herausforderungen wie variierendes Licht, saisonale Veränderungen und unterschiedliche Betrachtungswinkel zu bewältigen. Um effektiv Korrespondenzen und Fehlkorrespondenzen zwischen einem Bildpaar für die Änderungserkennung zu lernen, schlagen wir vor:a) den Backbone zu „freezen“ (to freeze), um die Allgemeinheit der dichten Fundamentmerkmale beizubehalten,b) „vollbildkreuzaufmerksamkeit“ (full-image cross-attention) einzusetzen, um die Betrachtungs winkelveränderungen zwischen dem Bildpaar besser zu meistern.Wir evaluieren unseren Ansatz anhand zweier Benchmark-Datensätze, VL-CMU-CD und PSCD, einschließlich deren Versionen mit veränderten Betrachtungswinkeln. Unsere Experimente zeigen erhebliche Verbesserungen im F1-Score, insbesondere in Szenarien mit geometrischen Veränderungen zwischen den Bildpaaren. Die Ergebnisse deuten darauf hin, dass unsere Methode über bestehende state-of-the-art-Ansätze hinaus bessere Generalisierungsfähigkeiten aufweist und sowohl gegen photometrische als auch geometrische Veränderungen robust ist sowie eine bessere allgemeine Anpassbarkeit zeigt, wenn sie feintuning-basiert angepasst wird, um sich neuen Umgebungen anzupassen. Detaillierte Abstraktionsstudien validieren zudem die Beiträge jeder Komponente in unserer Architektur. Unser Quellcode ist unter folgender URL verfügbar: https://github.com/ChadLin9596/Robust-Scene-Change-Detection.