HyperAIHyperAI

Command Palette

Search for a command to run...

Unsupervised Deep Video Denoising

Dev Yashpal Sheth Sreyas Mohan Joshua L. Vincent Ramon Manzorro Peter A. Crozier Mitesh M. Khapra Eero P. Simoncelli Carlos Fernandez-Granda

Zusammenfassung

Tiefgehende konvolutionelle neuronale Netze (CNNs) für die Video-Rauschunterdrückung werden typischerweise unter Supervision trainiert, wobei die Verfügbarkeit von sauberen Videos vorausgesetzt wird. In vielen Anwendungen, wie beispielsweise der Mikroskopie, sind jedoch rauschfreie Videos nicht verfügbar. Um diesem Problem zu begegnen, stellen wir einen unsupervisierten tiefen Video-Rauschunterdrückungsalgorithmus (Unsupervised Deep Video Denoiser, UDVD) vor, eine CNN-Architektur, die ausschließlich mit rauschbehafteten Daten trainiert werden kann. Die Leistungsfähigkeit von UDVD ist mit der des aktuellen Standes der Technik unter Supervision vergleichbar, selbst wenn der Algorithmus nur an einem einzigen kurzen rauschbehafteten Video trainiert wurde. Wir demonstrieren das Potenzial unseres Ansatzes in realen Bildgebungsanwendungen durch die Rauschunterdrückung von Rohvideos, Fluoreszenz-Mikroskopie- und Elektronenmikroskopie-Daten. Im Gegensatz zu vielen aktuellen Ansätzen zur Video-Rauschunterdrückung benötigt UDVD keine explizite Bewegungskompensation. Dies ist von Vorteil, da Bewegungskompensation rechenintensiv ist und bei rauschbehafteten Eingabedaten unzuverlässig werden kann. Eine analysenbasierter Gradientenuntersuchung zeigt, dass UDVD sich automatisch an die lokale Bewegung in den rauschbehafteten Eingabevideos anpasst. Somit lernt das Netzwerk implizite Bewegungskompensation, obwohl es ausschließlich zur Rauschunterdrückung trainiert wurde.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp