Brauchen wir weiterhin ImageNet-Vortrainings für die Szenenklassifikation in der Fernerkundung?

Aufgrund der Knappheit an gelabelten Daten ist die Verwendung von auf ImageNet vortrainierten überwachten Modellen in der Klassifikation von Fernerkundungsszenen mittlerweile eine etablierte Praxis. In jüngster Zeit haben die Verfügbarkeit größerer hochauflösender Fernerkundungsbilder (HRRS) und Fortschritte im selbstüberwachten Lernen die Frage aufgeworfen, ob eine überwachte Vortrainierung auf ImageNet für die Klassifikation von Fernerkundungsszenen weiterhin notwendig ist und ob eine überwachte Vortrainierung auf HRRS-Datensätzen oder eine selbstüberwachte Vortrainierung auf ImageNet bessere Ergebnisse auf Ziel-Aufgaben der Fernerkundungsszenenklassifikation erzielt. Um diese Fragen zu beantworten, trainieren wir in diesem Beitrag Modelle sowohl von Grund auf neu als auch feinabstimmen überwachte und selbstüberwachte ImageNet-Modelle auf mehreren HRRS-Bild-Datensätzen. Zudem evaluieren wir die Übertragbarkeit der gelernten Darstellungen auf HRRS-Szenenklassifikationsaufgaben und zeigen, dass die selbstüberwachte Vortrainierung die überwachte übertrifft, während die Leistung der HRRS-Vortrainierung vergleichbar mit der selbstüberwachten Vortrainierung ist oder geringfügig schlechter. Schließlich schlagen wir vor, ein auf ImageNet vortrainiertes Modell mit einer zweiten Runde der Vortrainierung auf in-domain HRRS-Bildern – also domain-adaptiver Vortrainierung – zu kombinieren. Die experimentellen Ergebnisse zeigen, dass die domain-adaptive Vortrainierung Modelle hervorbringt, die auf Benchmarks für HRRS-Szenenklassifikation die derzeit besten Ergebnisse erzielen. Der Quellcode und die vortrainierten Modelle sind unter \url{https://github.com/risojevicv/RSSC-transfer} verfügbar.