Command Palette
Search for a command to run...
PS-NeRV: patchweise stilisierte neuronale Darstellungen für Videos
PS-NeRV: patchweise stilisierte neuronale Darstellungen für Videos
Yunpeng Bai Chao Dong Cairong Wang
Zusammenfassung
Wir untersuchen, wie ein Video mittels impliziter neuronaler Darstellungen (INRs) dargestellt werden kann. Traditionelle INR-Methoden nutzen in der Regel MLPs, um Eingabekoordinaten auf Ausgabepixel abzubilden. Während einige neuere Arbeiten versucht haben, das gesamte Bild direkt mit CNNs zu rekonstruieren, argumentieren wir, dass sowohl die herkömmliche pixelweise als auch die bildweise Strategie für Videodaten weniger geeignet sind. Stattdessen schlagen wir eine patchweise Lösung vor: PS-NeRV, die Videos als Funktion von Patchen und den entsprechenden Patch-Koordinaten darstellt. Diese Herangehensweise erbt naturgemäß die Vorteile bildbasierter Methoden und erreicht eine hervorragende Rekonstruktionsleistung mit schneller Decodierungsgeschwindigkeit. Der gesamte Ansatz basiert auf etablierten Bausteinen wie Positionseinhängungen, MLPs und CNNs, integriert jedoch auch AdaIN, um die Zwischendaten zu verstärken. Diese einfachen, aber entscheidenden Anpassungen ermöglichen es dem Netzwerk, hochfrequente Details effizient zu erfassen. Umfangreiche Experimente belegen die Wirksamkeit des Ansatzes bei mehreren videobezogenen Aufgaben, wie beispielsweise Videokompression und Video-Inpainting.