Permutationsinvarianz und Unsicherheit in der multitemporalen Bildsuperresolution

Kürzliche Fortschritte haben gezeigt, wie tiefgreifende Neuronale Netze bei der Super-Auflösung von Fernerkundungsdaten extrem effektiv sein können, ausgehend von einer multitemporalen Sammlung von Niedrigauflösungsbildern. Allerdings haben bestehende Modelle das Problem der zeitlichen Permutation vernachlässigt, wodurch die zeitliche Reihenfolge der Eingangsbilder für die Super-Auflösungsaufgabe keine relevante Information enthält und solche Modelle in ihrer Effizienz mit den oft knappen Bodenwahrheitsdaten beeinträchtigt werden, die für das Training zur Verfügung stehen. Daher sollten Modelle keine Merkmalsextraktoren lernen, die sich auf die zeitliche Reihenfolge stützen. In dieser Arbeit zeigen wir, wie das Aufbauen eines Modells, das vollständig invariant gegenüber zeitlicher Permutation ist, die Leistung und Dateneffizienz erheblich verbessert. Darüber hinaus untersuchen wir, wie man die Unsicherheit des super-auflösenden Bildes quantifizieren kann, sodass der Endnutzer über die lokale Qualität des Produkts informiert wird. Wir zeigen, dass Unsicherheit mit der zeitlichen Variation in der Serie korreliert und dass ihre Quantifizierung die Modellleistung weiter verbessert. Experimente mit dem Proba-V Herausforderungsdatensatz zeigen erhebliche Verbesserungen im Vergleich zum Stand der Technik ohne Notwendigkeit für Selbst-Ensembling sowie eine verbesserte Dateneffizienz, wobei mit nur 25 % der Trainingsdaten die Leistung des Herausforderungssiegers erreicht wird.