HyperAIHyperAI

Command Palette

Search for a command to run...

Effiziente mehrstufige Video-Rauschunterdrückung mit rekurrenter raumzeitlicher Fusion

Matteo Maggioni Yibin Huang Cheng Li Shuai Xiao Zhongqian Fu Fenglong Song

Zusammenfassung

In den letzten Jahren haben Denoisierungsverfahren auf Basis tiefer neuronaler Netze eine bisher unerreichte Leistung erzielt, allerdings zu einem hohen Aufwand an Rechenkomplexität. In dieser Arbeit präsentieren wir einen effizienten mehrstufigen Video-Denoisierungsansatz namens EMVD (Efficient Multi-stage Video Denoising), der die Komplexität erheblich reduziert, ohne die Leistung zu beeinträchtigen – im Gegenteil, sie sogar zu verbessern. Zunächst wird in einer Fusionsstufe durch eine rekursive Kombination aller vorherigen Frames im Video die Rauschunterdrückung erreicht. Anschließend entfernt die Denoisierungsstufe das verbleibende Rauschen im gefussten Frame. Abschließend stellt die Nachbearbeitungsstufe die fehlenden Hochfrequenzanteile im entrauschten Frame wieder her. Alle Stufen arbeiten auf einer Transform-Domänen-Darstellung, die durch lernbare und invertierbare lineare Operatoren erzeugt wird. Diese Operatoren erhöhen gleichzeitig die Genauigkeit und verringern die Komplexität des Modells. Ein einziger Verlustfunktional am Endoutput genügt für eine erfolgreiche Konvergenz, wodurch EMVD leicht zu trainieren ist. Experimente an realen Rohdaten zeigen, dass EMVD bei begrenzter Komplexität die derzeitigen State-of-the-Art-Methoden übertrifft und selbst gegenüber Verfahren, deren Komplexität um mehrere Größenordnungen höher ist, wettbewerbsfähig bleibt. Darüber hinaus ermöglichen die geringe Rechenkomplexität und die niedrigen Speicheranforderungen eine Echtzeit-Video-Denoisierung auf kommerziellen SoCs in mobilen Geräten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp