Referenzbasierte Videosuperauflösung unter Verwendung von Multikameras-Videotripeln

Wir schlagen den ersten referenzbasierten Ansatz zur Videosuperauflösung (RefVSR) vor, der Referenzvideos für hochwertige Ergebnisse nutzt. Unser Fokus liegt auf RefVSR in einer Dreikamera-Einstellung, bei der wir ein Low-Resolution Ultra-Wide Video unter Verwendung von Wide-Angle und Telefoto-Videos superauflösen möchten. Wir stellen das erste RefVSR-Netzwerk vor, das temporale Referenzmerkmale rekurrent ausrichtet und verbreitet, die mit Merkmalen aus Low-Resolution-Bildern fusioniert wurden. Um die Fusion und Verbreitung temporaler Referenzmerkmale zu erleichtern, schlagen wir ein propagatives temporales Fusionmodul vor. Für das Lernen und die Bewertung unseres Netzwerks präsentieren wir den ersten RefVSR-Datensatz, der aus Tripletten von Ultra-Wide-, Wide-Angle- und Telefoto-Videos besteht, die gleichzeitig mit den drei Kameras eines Smartphones aufgenommen wurden. Zudem schlagen wir eine zweistufige Trainingsstrategie vor, die das vorgeschlagene Datensatz-Triplett vollständig für eine realweltliche 4x-Videosuperauflösung nutzt. Wir evaluieren unsere Methode umfassend, und die Ergebnisse zeigen eine Stand-des-Wissens-Leistung bei 4x-Superauflösung.