HyperAIHyperAI

Command Palette

Search for a command to run...

Robuste Szeneänderungserkennung mit visuellen Grundmodellen und Cross-Attention-Mechanismen

Chun-Jung Lin; Sourav Garg; Tat-Jun Chin; Feras Dayoub

Zusammenfassung

Wir präsentieren eine neuartige Methode zur Szeneänderungserkennung, die die robusten Merkmalsextraktionsfähigkeiten des visuellen Fundamentmodells DINOv2 nutzt und vollbildkreuzaufmerksamkeit (full-image cross-attention) integriert, um wichtige Herausforderungen wie variierendes Licht, saisonale Veränderungen und unterschiedliche Betrachtungswinkel zu bewältigen. Um effektiv Korrespondenzen und Fehlkorrespondenzen zwischen einem Bildpaar für die Änderungserkennung zu lernen, schlagen wir vor:a) den Backbone zu „freezen“ (to freeze), um die Allgemeinheit der dichten Fundamentmerkmale beizubehalten,b) „vollbildkreuzaufmerksamkeit“ (full-image cross-attention) einzusetzen, um die Betrachtungs winkelveränderungen zwischen dem Bildpaar besser zu meistern.Wir evaluieren unseren Ansatz anhand zweier Benchmark-Datensätze, VL-CMU-CD und PSCD, einschließlich deren Versionen mit veränderten Betrachtungswinkeln. Unsere Experimente zeigen erhebliche Verbesserungen im F1-Score, insbesondere in Szenarien mit geometrischen Veränderungen zwischen den Bildpaaren. Die Ergebnisse deuten darauf hin, dass unsere Methode über bestehende state-of-the-art-Ansätze hinaus bessere Generalisierungsfähigkeiten aufweist und sowohl gegen photometrische als auch geometrische Veränderungen robust ist sowie eine bessere allgemeine Anpassbarkeit zeigt, wenn sie feintuning-basiert angepasst wird, um sich neuen Umgebungen anzupassen. Detaillierte Abstraktionsstudien validieren zudem die Beiträge jeder Komponente in unserer Architektur. Unser Quellcode ist unter folgender URL verfügbar: https://github.com/ChadLin9596/Robust-Scene-Change-Detection.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp