HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen eines abgeschnittenen kausalen Historienmodells für die Video-Wiederherstellung

Amirhosein Ghasemabadi Muhammad Kamran Janjua Mohammad Salameh Di Niu

Zusammenfassung

Eine wesentliche Herausforderung bei der Video-Wiederherstellung besteht darin, die Übergangs-Dynamik von Videobildern, die durch Bewegung gesteuert sind, zu modellieren. In dieser Arbeit schlagen wir TURTLE vor, um ein abgeschnittenes kausales Historienmodell für effiziente und leistungsstarke Video-Wiederherstellung zu lernen. Im Gegensatz zu traditionellen Methoden, die einen Bereich kontextueller Frames parallel verarbeiten, verbessert TURTLE die Effizienz dadurch, dass es eine abgeschnittene Historie der latenten Darstellung des Eingabe-Frames in einen sich entwickelnden historischen Zustand speichert und zusammenfasst. Dies wird durch ein komplexes similaritätsbasiertes Retrieval-Verfahren erreicht, das implizit für die Bewegung und Ausrichtung zwischen Frames berücksichtigt. Die kausale Gestaltung in TURTLE ermöglicht rekurrente Inferenz durch den Abruf historischer Merkmale aus dem Zustands-Speicher und erlaubt gleichzeitig paralleles Training durch das Sampling abgeschnittener Videoclips. Wir melden neue Stand-der-Technik-Ergebnisse bei einer Vielzahl von Benchmark-Aufgaben zur Video-Wiederherstellung, einschließlich Schneeentfernung aus Videos (video desnowing), Regenentfernung aus Nachtaufnahmen (nighttime video deraining), Entfernung von Regentropfen und Regenstreifen aus Videos (video raindrops and rain streak removal), Video-Superauflösung (video super-resolution), Entverschärfung von realen und synthetischen Videos (real-world and synthetic video deblurring) sowie blindem Video-Rauschunterdrückung (blind video denoising), wobei wir gleichzeitig die Rechenkosten im Vergleich zu den besten existierenden kontextuellen Methoden auf all diesen Aufgaben reduzieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp