Verlebendigung verschwommener Momente

Wir präsentieren eine Lösung zur Extraktion eines Videos aus einem einzigen bewegungsverwischten Bild, um die klaren Ansichten einer Szene sequenziell zu rekonstruieren, wie sie während der Belichtungszeit von der Kamera wahrgenommen wurden. Zunächst lernen wir die Bewegungsdarstellung aus scharfen Videos auf unsupervisierte Weise durch das Training eines konvolutionellen rekurrenten Video-Autoencoder-Netzwerks, das eine Ersatzaufgabe der Videorekonstruktion durchführt. Sobald dieses Netzwerk trainiert ist, wird es für das geleitete Training eines Bewegungscodierers für verwischte Bilder eingesetzt. Dieses Netzwerk extrahiert eingebettete Bewegungsinformationen aus dem verwischten Bild und generiert in Verbindung mit dem trainierten rekurrenten Video-Decodier ein klares Video. Als Zwischenschritt haben wir auch eine effiziente Architektur entwickelt, die die Echtzeit-Entverwischung einzelner Bilder ermöglicht und alle Faktoren – Genauigkeit, Geschwindigkeit und Kompaktheit – gegenüber konkurrierenden Methoden übertrifft. Experimente mit realen Szenen und Standarddatensätzen zeigen die Überlegenheit unseres Frameworks gegenüber dem State-of-the-Art sowie seine Fähigkeit, eine plausibel anmutende Folge zeitlich konsistenter scharfer Frames zu erzeugen.