Effiziente Merkmalsextraktion für die Interpolation hochauflösender Videobilder

Die meisten tiefen Lernmethoden für die Interpolation von Videobildern bestehen aus drei Hauptkomponenten: Merkmalsextraktion, Bewegungsschätzung und Bildsynthese. Bestehende Ansätze unterscheiden sich hauptsächlich in der Gestaltung dieser Module. Bei der Interpolation hochauflösender Bilder, beispielsweise in 4K-Auflösung, sind jedoch die Gestaltungsoptionen zur Erzielung hoher Genauigkeit unter vernünftigen Speicheranforderungen begrenzt. Die Merkmalsextraktionslayer dienen dazu, die Eingabedaten zu komprimieren und relevante Informationen für nachfolgende Stufen, wie die Bewegungsschätzung, zu extrahieren. Diese Layer sind jedoch oft parameter- und rechenzeitaufwändig sowie speicherintensiv. Wir zeigen, wie Konzepte der Dimensionsreduktion in Kombination mit einer leichten Optimierung genutzt werden können, um die Eingaberepräsentation zu komprimieren, ohne die Qualität der extrahierten Informationen für die Bildinterpolation zu beeinträchtigen. Zudem benötigen wir weder ein vortrainiertes Flussnetzwerk noch ein Synthesenetzwerk, was die Anzahl der trainierbaren Parameter und den Speicherverbrauch weiter reduziert. Bei der Bewertung an drei 4K-Benchmarks erreichen wir die bisher beste Bildqualität unter den Methoden ohne vortrainiertes Flussnetzwerk und weisen gleichzeitig die geringste Netzwerkkomplexität und Speicheranforderungen insgesamt auf.