HyperAIHyperAI

Command Palette

Search for a command to run...

EDVR: Video-Restauration mit erweiterten deformierbaren Faltungsnetzen

Xintao Wang Kelvin C.K. Chan Ke Yu Chao Dong Chen Change Loy

Zusammenfassung

Aufgaben der Videorestauration, einschließlich Super-Resolution und Entverwischung, erlangen zunehmend an Bedeutung in der Computer-Vision-Gemeinschaft. Im Rahmen der NTIRE19-Challenge wurde ein anspruchsvoller Benchmark namens REDS veröffentlicht. Dieser neue Benchmark stellt bestehende Methoden auf zwei Aspekten heraus: (1) wie man mehrere Frames bei großen Bewegungen ausrichten kann, und (2) wie man verschiedene Frames mit unterschiedlichen Bewegungen und Verwischungen effektiv fusionieren kann. In dieser Arbeit schlagen wir einen neuen Videorestaurationsrahmen vor, den Enhanced Deformable Networks (EDVR), um diese Herausforderungen zu bewältigen. Zunächst, um große Bewegungen zu behandeln, entwickeln wir ein Pyramiden-, Kaskaden- und deformierbares (PCD) Ausrichtungsmodul, in dem die Frameausrichtung auf Feature-Ebene unter Verwendung deformierbarer Faltungen in einer von grob zu fein gestuften Weise durchgeführt wird. Zweitens schlagen wir ein zeitlich und räumlich aufmerksamkeitsgesteuertes (TSA) Fusionierungsmodul vor, in dem sowohl zeitliche als auch räumliche Aufmerksamkeit angewendet wird, um wichtige Features für nachfolgende Restaurationsprozesse hervorzuheben. Dank dieser Module gewann unser EDVR alle vier Tracks der NTIRE19-Videorestaurations- und -verbesserungschallenge und übertraf den zweiten Platz erheblich. EDVR zeigt zudem eine überlegene Leistung im Vergleich zu den neuesten veröffentlichten Methoden bei Videosuperresolution und Entverwischung. Der Code ist unter https://github.com/xinntao/EDVR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp