Echtzeit-Streaming-Videorückgewinnung mit bidirektionalen Puffern

Video-Streams werden kontinuierlich bereitgestellt, um Speicher- und Gerätememory-Kosten zu sparen. Auf dem Endgerät werden typischerweise Echtzeit-Rauschunterdrückungsalgorithmen eingesetzt, um während der Aufnahme und Übertragung entstandenes Rauschen zu entfernen. Allerdings verarbeiten herkömmliche, auf Gleitfenstern basierende Methoden mehrere Eingabebilder für ein einzelnes Ausgabebild und weisen eine geringe Rechen-Effizienz auf. Kürzlich vorgestellte Arbeiten zur Mehrfach-Ausgabe-Infereenz nutzen einen parallelen oder rekurrenten Rahmen, um bidirektionale zeitliche Merkmale zu propagieren, was entweder zu Leistungsabfällen an den zeitlichen Rändern von Clips führt oder eine Online-Infereenz nicht ermöglicht. In diesem Artikel stellen wir einen Bidirektionalen Streaming-Video-Rauschunterdrückungsrahmen (BSVD) vor, der eine hochfidele Echtzeit-Rauschunterdrückung für Streaming-Videos mit Zugriff auf sowohl vergangene als auch zukünftige zeitliche Informationen ermöglicht. Die bidirektionale zeitliche Fusion für Online-Infereenz wurde ursprünglich als nicht anwendbar im MoViNet betrachtet. Wir führen jedoch einen neuartigen Bidirektionalen Puffer-Block als zentralen Baustein unseres BSVD ein, der dies innerhalb unseres pipeline-artigen Infereenzprozesses ermöglicht. Zudem ist unsere Methode kompakt und flexibel und lässt sich sowohl in blinden als auch in nicht-blinden Video-Rauschunterdrückungsszenarien einsetzen. Wir vergleichen unser Modell qualitativ und quantitativ mit verschiedenen State-of-the-Art-Modellen für Video-Rauschunterdrückung anhand synthetischer und realer Rauschquellen. Unser Ansatz übertrifft die bisherigen Methoden hinsichtlich der Wiederherstellungsqualität und Laufzeit. Der Quellcode ist öffentlich über https://github.com/ChenyangQiQi/BSVD verfügbar.