Effiziente mehrstufige Video-Rauschunterdrückung mit rekurrenter raumzeitlicher Fusion

In den letzten Jahren haben Denoisierungsverfahren auf Basis tiefer neuronaler Netze eine bisher unerreichte Leistung erzielt, allerdings zu einem hohen Aufwand an Rechenkomplexität. In dieser Arbeit präsentieren wir einen effizienten mehrstufigen Video-Denoisierungsansatz namens EMVD (Efficient Multi-stage Video Denoising), der die Komplexität erheblich reduziert, ohne die Leistung zu beeinträchtigen – im Gegenteil, sie sogar zu verbessern. Zunächst wird in einer Fusionsstufe durch eine rekursive Kombination aller vorherigen Frames im Video die Rauschunterdrückung erreicht. Anschließend entfernt die Denoisierungsstufe das verbleibende Rauschen im gefussten Frame. Abschließend stellt die Nachbearbeitungsstufe die fehlenden Hochfrequenzanteile im entrauschten Frame wieder her. Alle Stufen arbeiten auf einer Transform-Domänen-Darstellung, die durch lernbare und invertierbare lineare Operatoren erzeugt wird. Diese Operatoren erhöhen gleichzeitig die Genauigkeit und verringern die Komplexität des Modells. Ein einziger Verlustfunktional am Endoutput genügt für eine erfolgreiche Konvergenz, wodurch EMVD leicht zu trainieren ist. Experimente an realen Rohdaten zeigen, dass EMVD bei begrenzter Komplexität die derzeitigen State-of-the-Art-Methoden übertrifft und selbst gegenüber Verfahren, deren Komplexität um mehrere Größenordnungen höher ist, wettbewerbsfähig bleibt. Darüber hinaus ermöglichen die geringe Rechenkomplexität und die niedrigen Speicheranforderungen eine Echtzeit-Video-Denoisierung auf kommerziellen SoCs in mobilen Geräten.