HNeRV: Eine hybride neuronale Darstellung für Videos

Implizite neuronale Darstellungen speichern Videos als neuronale Netzwerke und haben sich bei verschiedenen Aufgaben im Bereich der Bildverarbeitung, wie beispielsweise Videokompression und Rauschunterdrückung, bewährt. Bei Verwendung von Frame-Indizes oder Positional-Indizes als Eingabe rekonstruieren implizite Darstellungen (NeRV, E-NeRV, usw.) Videos aus festen, inhaltsunabhängigen Embeddings. Diese Embeddings beschränken die Regressionskapazität und die interne Generalisierbarkeit erheblich, insbesondere bei der Video-Interpolation. In diesem Paper stellen wir eine Hybrid Neural Representation for Videos (HNeRV) vor, bei der ein lernbarer Encoder inhaltsadaptive Embeddings erzeugt, die als Eingabe für den Decoder dienen. Zusätzlich zu den Eingabembeddings führen wir HNeRV-Blöcke ein, die sicherstellen, dass die Modellparameter gleichmäßig über das gesamte Netzwerk verteilt sind, wodurch tiefere Schichten (Schichten nahe der Ausgabe) eine größere Kapazität zur Speicherung hochauflösender Inhalte und feinster Video-Details erhalten. Durch die Kombination inhaltsadaptiver Embeddings und eines neu gestalteten Architekturansatzes übertrifft HNeRV implizite Methoden in Video-Regressionsaufgaben sowohl hinsichtlich der Rekonstruktionsqualität (+4,7 dB PSNR) als auch der Konvergenzgeschwindigkeit (16-mal schneller) und zeigt eine verbesserte interne Generalisierbarkeit. Als eine einfache und effiziente Video-Darstellung bietet HNeRV zudem Vorteile bei der Dekodierung in Bezug auf Geschwindigkeit, Flexibilität und Bereitstellung im Vergleich zu herkömmlichen Codecs (H.264, H.265) sowie lernbasierten Kompressionsmethoden. Schließlich untersuchen wir die Wirksamkeit von HNeRV in nachgelagerten Aufgaben wie Videokompression und Video-Inpainting. Wir stellen eine Projektseite unter https://haochen-rye.github.io/HNeRV sowie den Quellcode unter https://github.com/haochen-rye/HNeRV bereit.