Videoverbesserung mit task-orientiertem Fluss

Viele Videoverbesserungsalgorithmen basieren auf optischem Fluss zur Registrierung von Frames in einer Videosequenz. Eine präzise Flussestimation ist jedoch unlösbar; und der optische Fluss ist oft für bestimmte Videobearbeitungsaufgaben eine suboptimale Darstellung. In dieser Arbeit schlagen wir den task-oriented flow (TOFlow) vor, eine Bewegungsdarstellung, die in einem selbstüberwachten, aufgabenspezifischen Verfahren gelernt wird. Wir entwerfen ein neuronales Netzwerk mit einem lernbaren Bewegungsschätzungskomponenten und einer Videobearbeitungskomponente und trainieren sie gemeinsam, um den task-oriented flow zu erlernen. Für die Evaluation erstellen wir Vimeo-90K, einen groß angelegten, hochwertigen Videodatensatz für low-level-Videobearbeitung. TOFlow übertrifft traditionelle optische Flussmethoden sowohl bei Standardbenchmarks als auch bei unserem Vimeo-90K-Datensatz in drei Videobearbeitungsaufgaben: Frameinterpolation, VIDEODENOISING/DEBLOCKING (Videoentrauschung/Entblockierung) und Videosuperresolution.