Spatio-temporale deformable Convolution zur Verbesserung der Qualität komprimierter Videos

In den letzten Jahren konnten tiefe Lernmethoden erhebliche Fortschritte bei der Qualitätsverbesserung komprimierter Videos erzielen. Um die zeitliche Information besser auszunutzen, schätzen bestehende Ansätze in der Regel den optischen Fluss zur zeitlichen Bewegungskompensation. Da komprimierte Videos jedoch durch verschiedene Kompressionsartefakte erheblich verzerrt sein können, neigt der geschätzte optische Fluss dazu, ungenau und unzuverlässig zu sein, was zu einer ineffektiven Qualitätsverbesserung führt. Zudem erfolgt die optische Flussabschätzung zwischen aufeinanderfolgenden Bildern üblicherweise paarweise, was rechenintensiv und ineffizient ist. In diesem Paper stellen wir eine schnelle und dennoch effektive Methode zur Qualitätsverbesserung komprimierter Videos vor, indem wir einen neuartigen Spatio-Temporalen Deformierbaren Fusionsschema (STDF) einsetzen, um zeitliche Information zu aggregieren. Konkret verarbeitet der vorgeschlagene STDF ein Zielbild zusammen mit seinen benachbarten Referenzbildern, um gemeinsam ein Verschiebungsfeld vorherzusagen, das die spatio-temporalen Abtastpositionen der Faltung deformiert. Dadurch können ergänzende Informationen aus Ziel- und Referenzbildern innerhalb einer einzigen Spatio-Temporalen Deformierbaren Faltung (STDC) operationiert werden. Umfangreiche Experimente zeigen, dass unsere Methode sowohl hinsichtlich Genauigkeit als auch Effizienz den Stand der Technik bei der Qualitätsverbesserung komprimierter Videos erreicht.