HyperAIHyperAI

Command Palette

Search for a command to run...

Echtzeit-Streaming-Videorückgewinnung mit bidirektionalen Puffern

Chenyang Qi Junming Chen Xin Yang Qifeng Chen

Zusammenfassung

Video-Streams werden kontinuierlich bereitgestellt, um Speicher- und Gerätememory-Kosten zu sparen. Auf dem Endgerät werden typischerweise Echtzeit-Rauschunterdrückungsalgorithmen eingesetzt, um während der Aufnahme und Übertragung entstandenes Rauschen zu entfernen. Allerdings verarbeiten herkömmliche, auf Gleitfenstern basierende Methoden mehrere Eingabebilder für ein einzelnes Ausgabebild und weisen eine geringe Rechen-Effizienz auf. Kürzlich vorgestellte Arbeiten zur Mehrfach-Ausgabe-Infereenz nutzen einen parallelen oder rekurrenten Rahmen, um bidirektionale zeitliche Merkmale zu propagieren, was entweder zu Leistungsabfällen an den zeitlichen Rändern von Clips führt oder eine Online-Infereenz nicht ermöglicht. In diesem Artikel stellen wir einen Bidirektionalen Streaming-Video-Rauschunterdrückungsrahmen (BSVD) vor, der eine hochfidele Echtzeit-Rauschunterdrückung für Streaming-Videos mit Zugriff auf sowohl vergangene als auch zukünftige zeitliche Informationen ermöglicht. Die bidirektionale zeitliche Fusion für Online-Infereenz wurde ursprünglich als nicht anwendbar im MoViNet betrachtet. Wir führen jedoch einen neuartigen Bidirektionalen Puffer-Block als zentralen Baustein unseres BSVD ein, der dies innerhalb unseres pipeline-artigen Infereenzprozesses ermöglicht. Zudem ist unsere Methode kompakt und flexibel und lässt sich sowohl in blinden als auch in nicht-blinden Video-Rauschunterdrückungsszenarien einsetzen. Wir vergleichen unser Modell qualitativ und quantitativ mit verschiedenen State-of-the-Art-Modellen für Video-Rauschunterdrückung anhand synthetischer und realer Rauschquellen. Unser Ansatz übertrifft die bisherigen Methoden hinsichtlich der Wiederherstellungsqualität und Laufzeit. Der Quellcode ist öffentlich über https://github.com/ChenyangQiQi/BSVD verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp