Lernen eines abgeschnittenen kausalen Historienmodells für die Video-Wiederherstellung

Eine wesentliche Herausforderung bei der Video-Wiederherstellung besteht darin, die Übergangs-Dynamik von Videobildern, die durch Bewegung gesteuert sind, zu modellieren. In dieser Arbeit schlagen wir TURTLE vor, um ein abgeschnittenes kausales Historienmodell für effiziente und leistungsstarke Video-Wiederherstellung zu lernen. Im Gegensatz zu traditionellen Methoden, die einen Bereich kontextueller Frames parallel verarbeiten, verbessert TURTLE die Effizienz dadurch, dass es eine abgeschnittene Historie der latenten Darstellung des Eingabe-Frames in einen sich entwickelnden historischen Zustand speichert und zusammenfasst. Dies wird durch ein komplexes similaritätsbasiertes Retrieval-Verfahren erreicht, das implizit für die Bewegung und Ausrichtung zwischen Frames berücksichtigt. Die kausale Gestaltung in TURTLE ermöglicht rekurrente Inferenz durch den Abruf historischer Merkmale aus dem Zustands-Speicher und erlaubt gleichzeitig paralleles Training durch das Sampling abgeschnittener Videoclips. Wir melden neue Stand-der-Technik-Ergebnisse bei einer Vielzahl von Benchmark-Aufgaben zur Video-Wiederherstellung, einschließlich Schneeentfernung aus Videos (video desnowing), Regenentfernung aus Nachtaufnahmen (nighttime video deraining), Entfernung von Regentropfen und Regenstreifen aus Videos (video raindrops and rain streak removal), Video-Superauflösung (video super-resolution), Entverschärfung von realen und synthetischen Videos (real-world and synthetic video deblurring) sowie blindem Video-Rauschunterdrückung (blind video denoising), wobei wir gleichzeitig die Rechenkosten im Vergleich zu den besten existierenden kontextuellen Methoden auf all diesen Aufgaben reduzieren.