MFQE 2.0: Ein neuer Ansatz zur Mehrbildrahmen-Qualitätsverbesserung von komprimierten Videos

In den letzten Jahren wurde großer Erfolg bei der Anwendung des Deep Learnings zur Verbesserung der Qualität von komprimierten Bildern und Videos verzeichnet. Die bisherigen Ansätze konzentrieren sich hauptsächlich auf die Qualitätssteigerung einzelner Frames, ohne die Ähnlichkeit zwischen aufeinanderfolgenden Frames zu berücksichtigen. Da in komprimierten Videoframes, wie in dieser Arbeit untersucht, starke Schwankungen auftreten, kann die Frame-Ähnlichkeit für die Qualitätsverbesserung von Frames niedriger Qualität unter Verwendung ihrer benachbarten hochwertigen Frames genutzt werden. Diese Aufgabe wird als Mehrfach-Frame-Qualitätsverbesserung (MFQE) bezeichnet. Demgemäß schlägt diese Arbeit einen MFQE-Ansatz für komprimierte Videos vor, was der erste Versuch in diese Richtung ist. In unserem Ansatz entwickeln wir zunächst einen auf bidirektionalem Long Short-Term Memory (BiLSTM) basierenden Detektor, um Peak-Quality-Frames (PQFs) in komprimierten Videos zu lokalisieren. Anschließend wird ein neuartiges Mehrfach-Frame-Konvolutionsneuronales Netzwerk (MF-CNN) entworfen, um die Qualität von komprimierten Videos zu verbessern, wobei das nicht-Peak-Quality-Frame und seine beiden nächsten PQFs als Eingabe dienen. Im MF-CNN wird die Bewegung zwischen dem nicht-PQF und den PQFs durch ein Untermodul zur Bewegungskompensation ausgeglichen. Danach fusioniert ein Qualitätsverbesserungsuntermodul das nicht-PQF und die kompensierten PQFs und reduziert so die Kompressionsartefakte des nicht-PQF. Auch die Qualität der PQFs wird auf dieselbe Weise verbessert. Schließlich bestätigen Experimente die Effektivität und Generalisierungsfähigkeit unseres MFQE-Ansatzes bei der Steigerung des Standes der Technik in Bezug auf die Qualitätsverbesserung von komprimierten Videos. Der Code ist unter https://github.com/RyanXingQL/MFQEv2.0.git verfügbar.