SSL4EO-S12: Ein großskaliges multimodales, multitemporales Datensatz für selbstüberwachtes Lernen in der Erdbeobachtung

Selbstüberwachtes Vortrainieren birgt das Potenzial, ausdrucksstarke Darstellungen ohne menschliche Annotation zu generieren. Die meisten Vortrainierungsansätze im Bereich der Erdbeobachtung (Earth Observation, EO) basieren auf ImageNet oder mittelgroßen, beschrifteten Fernerkundungsdatensätzen (Remote Sensing, RS). Wir stellen einen unbeschrifteten RS-Datensatz namens SSL4EO-S12 (Self-Supervised Learning for Earth Observation – Sentinel-1/2) bereit, um einen großskaligen, globalen, multimodalen und mehrsaisonalen Korpus von Satellitenbildern aus den ESA-Satellitenmissionen Sentinel-1 und Sentinel-2 zusammenzustellen. Für Anwendungen in der Erdbeobachtung zeigen wir, dass SSL4EO-S12 erfolgreich für das selbstüberwachte Vortrainieren verschiedener Methoden eingesetzt werden kann, darunter MoCo-v2, DINO, MAE und data2vec. Die resultierenden Modelle erreichen eine nachgeschaltete Leistung, die der von überwachtem Lernen nahekommt oder diese sogar übertrifft. Zudem übertrifft das Vortrainieren auf SSL4EO-S12 bestehende Datensätze deutlich. Wir stellen den Datensatz, die zugehörige Quellcode-Implementierung sowie die vortrainierten Modelle öffentlich über https://github.com/zhu-xlab/SSL4EO-S12 zur Verfügung.