Panoptische Segmentierung von Satellitenbildzeitreihen mit konvolutionellen zeitlichen Aufmerksamkeitsnetzwerken

Ungekannter Zugang zu multitemporalen Satellitenbildern hat neue Perspektiven für eine Vielzahl von Erdbeobachtungsaufgaben eröffnet. Dazu gehört die pixelgenaue panoptische Segmentierung landwirtschaftlicher Parzellen, die weitreichende wirtschaftliche und umweltbezogene Implikationen hat. Während Forscher dieses Problem bisher für einzelne Bilder untersucht haben, argumentieren wir, dass die komplexen zeitlichen Muster der Kulturpflanzenphänologie besser mit zeitlichen Bildsequenzen adressiert werden können. In dieser Arbeit präsentieren wir die erste end-to-end, einstufige Methode zur panoptischen Segmentierung von Satellitenbildzeitreihen (SITS). Dieses Modul kann mit unserem neuartigen Bildsequenzcodierungsnetzwerk kombiniert werden, das auf temporalem Selbst-Attention basiert, um reichhaltige und anpassungsfähige mehrskalige räumlich-zeitliche Merkmale zu extrahieren. Zudem führen wir PASTIS ein, den ersten öffentlich zugänglichen SITS-Datensatz mit panoptischen Annotationen. Wir zeigen die Überlegenheit unseres Codiers bei der semantischen Segmentierung gegenüber mehreren konkurrierenden Architekturen nach und legen den ersten Stand der Technik für die panoptische Segmentierung von SITS dar. Unsere Implementierung und PASTIS sind öffentlich verfügbar.