Die Umkehrung von Schäden: Ein QP-bewusster Transformer-Diffusionsansatz für die Restauration von 8K-Videos unter Codek-Kompression

In dieser Arbeit stellen wir DiQP vor; ein neues Transformer-Diffusionsmodell zur Wiederherstellung von 8K-Videos, die durch Codec-Kompression beeinträchtigt wurden. Nach bestem Wissen ist unser Modell das erste, das sich mit der Wiederherstellung von Artefakten beschäftigt, die durch verschiedene Codecs (AV1, HEVC) eingeführt werden, ohne zusätzlichen Rausch zu berücksichtigen. Dieser Ansatz ermöglicht es uns, die komplexe, nicht-gaußsche Natur der Kompressionsartefakte zu modellieren und effektiv die Verschlechterung rückgängig zu machen. Unsere Architektur kombiniert die Fähigkeit der Transformers, langreichweitige Abhängigkeiten zu erfassen, mit einem verbesserten fensterbasierten Mechanismus, der den raumzeitlichen Kontext innerhalb von Pixelgruppen über mehrere Frames hinweg beibehält. Um die Wiederherstellung weiter zu verbessern, integriert das Modell zusätzliche "Look Ahead" und "Look Around"-Module (Vorausschau- und Umfeld-Module), die sowohl Informationen über zukünftige als auch umliegende Frames bereitstellen, um feine Details wiederzugeben und die gesamte visuelle Qualität zu erhöhen. Ausführliche Experimente auf verschiedenen Datensätzen zeigen, dass unser Modell den aktuellen Stand der Technik übertreffen kann, insbesondere bei hochaufgelösten Videos wie 4K und 8K. Dies unterstreicht seine Effektivität bei der Wiederherstellung von videosensorisch ansprechenden Videos aus stark komprimierten Quellen.