Mehrskaliges, speicherbasiertes Videoentvernen

Die Entfernung von Bewegungsunschärfe in Videos (Video Deblurring) hat dank des Erfolgs tiefer neuronaler Netze erhebliche Fortschritte gemacht. Die meisten Methoden lösen das Problem der Entfernung von Unschärfe von Anfang bis Ende, wobei die Informationsübertragung innerhalb der Videosequenz begrenzt ist. Allerdings zeigen verschiedene Bildbereiche unterschiedliche Eigenschaften und sollten entsprechend relevante Informationen bereitgestellt bekommen. Um eine feingranulare Entfernung von Unschärfe zu erreichen, haben wir einen Speicherzweig entwickelt, der unscharfe-scharfe Merkmalspaare im Speicherbank speichert, um nützliche Informationen für die unscharfen Abfrageeingaben bereitzustellen. Um den Inhalt unserer Speicherbank zu erweitern, haben wir zudem eine bidirektionale Rekurrenz und eine mehrskalige Strategie basierend auf der Speicherbank konzipiert. Experimentelle Ergebnisse zeigen, dass unser Modell anderen Stand-der-Technik-Methoden überlegen ist, während es gleichzeitig die Modellkomplexität und die Inferenzzeit niedrig hält. Der Quellcode ist unter https://github.com/jibo27/MemDeblur verfügbar.