Ein leichtgewichtiges rekurrentes Aggregationsnetzwerk für die Superauflösung von Satellitenvideos

Die intelligente Verarbeitung und Analyse von Satellitenvideos ist zu einem der Forschungsschwerpunkte in der Darstellung der Fernerkundung geworden, wobei die Satellitenvideo-Super-Resolution (SVSR) eine bedeutende Forschungsrichtung darstellt, die die Bildqualität von Satellitenvideos verbessern kann. Allerdings nutzen bestehende Ansätze zur SVSR oft nur unzureichend eine bemerkenswerte Eigenschaft, die Satellitenvideos inhärent ist: die Verfügbarkeit umfangreicher zeitlicher Bilddaten, die ein konsistentes Szenario erfassen. Derzeit nutzen die meisten SVSR-Methoden lediglich eine geringe Anzahl benachbarter Frames zur Verbesserung der Auflösung einzelner Bilder, was zu einer suboptimalen Nutzung der verfügbaren Informationen führt. Hiergegen stellen wir den Recurrent Aggregation Network for Satellite Video Super-Resolution (RASVSR) vor. Dieser innovative Ansatz nutzt ein bidirektionales rekurrentes neuronales Netzwerk, um extrahierte Merkmale aus jedem Frame über die gesamte Video-Sequenz hinweg zu propagieren. Er basiert auf einer Ausrichtungsmethode, die auf optischem Fluss und deformierbarer Faltung (Deformable Convolution, DCN) beruht, um die Merkmalsausrichtung zu realisieren, sowie auf einem Temporal Feature Fusion Module (TFF), um eine effektive Merkmalsfusion über die Zeit hinweg zu ermöglichen. Besonders hervorzuheben ist, dass unsere Forschung die positive Wirkung längerer Bildsequenzen in der SVSR unterstreicht. Im Kontext von RASVSR erweitern wir mit verbessertem Aligning und Fusing den perzeptiven Bereich jedes Frames auf bis zu 100 Frames des Videos, wodurch reichhaltigere Informationen erfasst werden und Informationen zwischen verschiedenen Bildern sich gegenseitig ergänzen können. Diese strategische Herangehensweise führt zu einer überlegenen Leistung im Vergleich zu alternativen Methoden, wie eine bemerkenswerte Verbesserung um 1,15 dB im PSNR bei sehr geringem Parameterumfang belegt.