Wie man die Änderungserkennung auf die semantische Segmentierung reduziert

Die Änderungserkennung (Change Detection, CD) hat das Ziel, Änderungen in Bildpaaren zu identifizieren, die zu unterschiedlichen Zeitpunkten aufgenommen wurden. Frühere Methoden entwickelten spezifische Netzwerke von Grund auf neu, um Änderungsmasken auf Pixelbasis vorherzusagen, und hatten Schwierigkeiten mit allgemeinen Segmentierungsproblemen. In diesem Papier schlagen wir ein neues Paradigma vor, das CD auf die semantische Segmentierung reduziert, was bedeutet, dass ein vorhandenes und leistungsfähiges Netzwerk für semantische Segmentierung angepasst wird, um CD-Probleme zu lösen. Dieses neue Paradigma nutzt die gängigen Techniken der semantischen Segmentierung zur Bewältigung allgemeiner Segmentierungsprobleme in der CD. Somit können wir uns darauf konzentrieren, wie Änderungen erkannt werden können. Wir stellen eine neue und wichtige Erkenntnis vor: Es gibt verschiedene Arten von Änderungen in der CD, die getrennt voneinander gelernt werden sollten. Auf dieser Grundlage haben wir ein Modul namens MTF entwickelt, das Änderungsinformationen extrahiert und zeitliche Merkmale fusioniert. Das MTF-Modul zeichnet sich durch hohe Interpretierbarkeit aus und enthüllt die wesentlichen Charakteristika der CD. Die meisten Segmentierungsnetzwerke können mit unserem MTF-Modul angepasst werden, um CD-Probleme zu lösen. Schließlich präsentieren wir C-3PO, ein Netzwerk zur Erkennung von Änderungen auf Pixelbasis. C-3PO erreicht den Stand der Technik ohne zusätzliche Verzierungen (bells and whistles). Es ist einfach aber effektiv und kann als neue Referenzmethode in diesem Bereich angesehen werden. Unser Code ist unter https://github.com/DoctorKey/C-3PO verfügbar.