HyperAIHyperAI

Command Palette

Search for a command to run...

PS-NeRV: patchweise stilisierte neuronale Darstellungen für Videos

Yunpeng Bai Chao Dong Cairong Wang

Zusammenfassung

Wir untersuchen, wie ein Video mittels impliziter neuronaler Darstellungen (INRs) dargestellt werden kann. Traditionelle INR-Methoden nutzen in der Regel MLPs, um Eingabekoordinaten auf Ausgabepixel abzubilden. Während einige neuere Arbeiten versucht haben, das gesamte Bild direkt mit CNNs zu rekonstruieren, argumentieren wir, dass sowohl die herkömmliche pixelweise als auch die bildweise Strategie für Videodaten weniger geeignet sind. Stattdessen schlagen wir eine patchweise Lösung vor: PS-NeRV, die Videos als Funktion von Patchen und den entsprechenden Patch-Koordinaten darstellt. Diese Herangehensweise erbt naturgemäß die Vorteile bildbasierter Methoden und erreicht eine hervorragende Rekonstruktionsleistung mit schneller Decodierungsgeschwindigkeit. Der gesamte Ansatz basiert auf etablierten Bausteinen wie Positionseinhängungen, MLPs und CNNs, integriert jedoch auch AdaIN, um die Zwischendaten zu verstärken. Diese einfachen, aber entscheidenden Anpassungen ermöglichen es dem Netzwerk, hochfrequente Details effizient zu erfassen. Umfangreiche Experimente belegen die Wirksamkeit des Ansatzes bei mehreren videobezogenen Aufgaben, wie beispielsweise Videokompression und Video-Inpainting.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp