Unsupervised Deep Video Denoising

Tiefgehende konvolutionelle neuronale Netze (CNNs) für die Video-Rauschunterdrückung werden typischerweise unter Supervision trainiert, wobei die Verfügbarkeit von sauberen Videos vorausgesetzt wird. In vielen Anwendungen, wie beispielsweise der Mikroskopie, sind jedoch rauschfreie Videos nicht verfügbar. Um diesem Problem zu begegnen, stellen wir einen unsupervisierten tiefen Video-Rauschunterdrückungsalgorithmus (Unsupervised Deep Video Denoiser, UDVD) vor, eine CNN-Architektur, die ausschließlich mit rauschbehafteten Daten trainiert werden kann. Die Leistungsfähigkeit von UDVD ist mit der des aktuellen Standes der Technik unter Supervision vergleichbar, selbst wenn der Algorithmus nur an einem einzigen kurzen rauschbehafteten Video trainiert wurde. Wir demonstrieren das Potenzial unseres Ansatzes in realen Bildgebungsanwendungen durch die Rauschunterdrückung von Rohvideos, Fluoreszenz-Mikroskopie- und Elektronenmikroskopie-Daten. Im Gegensatz zu vielen aktuellen Ansätzen zur Video-Rauschunterdrückung benötigt UDVD keine explizite Bewegungskompensation. Dies ist von Vorteil, da Bewegungskompensation rechenintensiv ist und bei rauschbehafteten Eingabedaten unzuverlässig werden kann. Eine analysenbasierter Gradientenuntersuchung zeigt, dass UDVD sich automatisch an die lokale Bewegung in den rauschbehafteten Eingabevideos anpasst. Somit lernt das Netzwerk implizite Bewegungskompensation, obwohl es ausschließlich zur Rauschunterdrückung trainiert wurde.