Zu einer verallgemeinerbaren Szeneänderungserkennung

Während derzeitliche top-moderne Ansätze zur Szeneänderungserkennung (Scene Change Detection, SCD) beeindruckende Ergebnisse in gut trainierten Forschungsdaten erzielen, werden sie unter unbekannten Umgebungen und unterschiedlichen zeitlichen Bedingungen unzuverlässig. Die In-Domain-Leistung fällt von 77,6 % auf 8,0 % in einer zuvor unbekannten Umgebung und auf 4,6 % unter einer anderen zeitlichen Bedingung – was den Bedarf an verallgemeinerbaren SCD-Methoden und Benchmarks erhöht. In dieser Arbeit schlagen wir das Generalizable Scene Change Detection Framework (GeSCF) vor, das die Leistung unter unbekannten Domänen und die zeitliche Konsistenz verbessert – um der wachsenden Nachfrage nach verallgemeinerbaren SCD-Methoden gerecht zu werden. Unser Verfahren nutzt das vortrainierte Segment Anything Model (SAM) in einem zero-shot-Ansatz. Dafür entwickeln wir die Erzeugung von Anfangspseudomaschen und die geometrisch-semantische Maschenübereinstimmung – wodurch wir reibungslos eine benutzergeführte Eingabe und eine segmentationsbasierte Einzelbildanalyse in eine Szeneänderungserkennung für ein Paar von Eingaben ohne weitere Anleitung transformieren können. Des Weiteren definieren wir den Generalizable Scene Change Detection (GeSCD)-Benchmark zusammen mit neuen Metriken und einem Evaluierungsprotokoll, um die SCD-Forschung im Bereich der Verallgemeinerbarkeit zu fördern. Im Rahmen dieses Prozesses stellen wir den ChangeVPR-Datensatz vor, eine Sammlung anspruchsvoller Bildpaare mit vielfältigen Umgebungszenarien – einschließlich städtischen, ländlichen und Vorortgebieten. Ausführliche Experimente mit verschiedenen Datensätzen zeigen, dass GeSCF durchschnittlich einen Leistungsanstieg von 19,2 % auf bestehenden SCD-Datensätzen und 30,0 % auf dem ChangeVPR-Datensatz erreicht, was fast das Doppelte der bisherigen Leistung darstellt. Wir sind überzeugt davon, dass unsere Arbeit eine solide Grundlage für robuste und verallgemeinerbare SCD-Forschung legen kann.