HyperAIHyperAI
vor 2 Monaten

BurstM: Tiefes Burst-Multiskalen-SR unter Verwendung des Fourier-Raums mit optischem Fluss

Kang, EungGu ; Lee, Byeonghun ; Im, Sunghoon ; Jin, Kyong Hwan
BurstM: Tiefes Burst-Multiskalen-SR unter Verwendung des Fourier-Raums mit optischem Fluss
Abstract

Die mehrfachrahmige Super-Resolution (MFSR) erreicht eine höhere Leistung als die einbildliche Super-Resolution (SISR), da MFSR umfangreiche Informationen aus mehreren Bildern nutzt. Aktuelle Ansätze für MFSR passen das deformierbare Faltungsnetzwerk (DCN) an, um die Rahmen zu alignen. Dennoch leiden existierende MFSR-Methoden unter Fehlalignments zwischen dem Referenz- und den Quellrahmen aufgrund der Limitationen des DCNs, wie z.B. kleinen Rezeptivfeldern und der vorgegebenen Anzahl von Kernen. Aus diesen Problemen heraus haben bestehende MFSR-Ansätze Schwierigkeiten, hochfrequente Informationen darzustellen. Zu diesem Zweck schlagen wir Deep Burst Multi-Scale SR mit Fourier-Raum und Optischem Fluss (BurstM) vor. Die vorgeschlagene Methode schätzt den optischen Flussversatz für eine genaue Alignment und prognostiziert den kontinuierlichen Fourier-Koeffizienten jedes Rahmens zur Darstellung hochfrequenter Texturen. Zudem haben wir die Netzwerkflexibilität durch Unterstützung verschiedener Super-Resolution-Skalierungsfaktoren mit einem unimodellen verbessert. Wir zeigen, dass unsere Methode im Vergleich zu den existierenden MFSR-Methoden die höchste Leistung und Flexibilität bietet. Unser Quellcode ist unter https://github.com/Egkang-Luis/burstm verfügbar.