Leichtgewichtige, vortrainierte Transformer für Fernerkundungszeitreihen

Maschinelles Lernen für Satellitendaten hat eine Vielzahl von gesellschaftlich relevanten Anwendungen, aber die zur Modellbildung verwendeten Labels können schwierig oder unmöglich zu erlangen sein. Selbstüberwachung ist eine natürliche Lösung in Szenarien mit begrenzten annotierten Daten, jedoch nutzen aktuelle selbstüberwachte Modelle für Satellitendaten die Eigenschaften dieser Daten nicht aus, einschließlich der zeitlichen Dimension (die für viele Anwendungen wie die Überwachung des Wachstums von Nutzpflanzen entscheidend ist) und der Verfügbarkeit von Daten aus vielen ergänzenden Sensoren (was die vorhersagende Leistung eines Modells erheblich verbessern kann). Wir stellen Presto (den vortrainierten Remote-Sensing-Transformer) vor, ein Modell, das auf Remote-Sensing-Pixel-Zeitreihendaten vortrainiert wurde. Durch die spezifische Gestaltung von Presto für Remote-Sensing-Daten können wir ein deutlich kleineres, aber dennoch leistungsfähiges Modell erstellen. Presto zeichnet sich durch hervorragende Ergebnisse bei einer Vielzahl global verteilter Remote-Sensing-Aufgaben aus und erreicht wettbewerbsfähige Leistungen im Vergleich zu viel größeren Modellen, während es deutlich weniger Rechenleistung erfordert. Presto kann sowohl für Transfer-Learning als auch als Feature-Extractor für einfache Modelle verwendet werden, was eine effiziente Skalierung ermöglicht.