Mehrere-Bild-Rahmen-Qualitätsverbesserung für komprimierte Videos

In den letzten Jahren wurde der Einsatz von Deep Learning zur Verbesserung der Qualität von komprimierten Bildern und Videos mit großem Erfolg begleitet. Die bisherigen Ansätze konzentrieren sich hauptsächlich auf die Qualitätssteigerung einzelner Frames, wobei die Ähnlichkeit zwischen aufeinanderfolgenden Frames vernachlässigt wird. In dieser Arbeit untersuchen wir, dass starke Qualitätsfluktuationen in komprimierten Video-Frames auftreten, und daher können Frames niedriger Qualität durch benachbarte Frames höherer Qualität verbessert werden, was als Mehrfach-Frame-Qualitätsverbesserung (Multi-Frame Quality Enhancement, MFQE) bezeichnet wird. Demgemäß schlägt diese Arbeit einen MFQE-Ansatz für komprimierte Videos vor, als erster Versuch in diese Richtung. In unserem Ansatz entwickeln wir zunächst einen Detektor basierend auf Support Vector Machines (SVM), um Peak-Quality-Frames (PQFs) in komprimierten Videos zu lokalisieren. Anschließend wird ein neues Mehrfach-Frame-Konvolutionsneuronales Netzwerk (MF-CNN) entworfen, um die Qualität von komprimierten Videos zu verbessern. Dabei dienen der nicht-Peak-Quality-Frame (non-PQF) und seine beiden nächsten PQFs als Eingabe. Das MF-CNN kompensiert die Bewegung zwischen dem non-PQF und den PQFs durch das Untermodul zur Bewegungskompensation (Motion Compensation subnet, MC-subnet). Im Anschluss reduziert das Untermodul zur Qualitätsverbesserung (Quality Enhancement subnet, QE-subnet) die Kompressionsartefakte des non-PQF unter Zuhilfenahme seiner nächsten PQFs. Schließlich bestätigen die Experimente die Effektivität und Allgemeingültigkeit unseres MFQE-Ansatzes bei der Steigerung des Standes der Technik in Bezug auf die Qualitätsverbesserung von komprimierten Videos. Der Code unseres MFQE-Ansatzes ist unter https://github.com/ryangBUAA/MFQE.git verfügbar.