HyperAIHyperAI

Command Palette

Search for a command to run...

HNeRV: Eine hybride neuronale Darstellung für Videos

Hao Chen Matt Gwilliam Ser-Nam Lim Abhinav Shrivastava

Zusammenfassung

Implizite neuronale Darstellungen speichern Videos als neuronale Netzwerke und haben sich bei verschiedenen Aufgaben im Bereich der Bildverarbeitung, wie beispielsweise Videokompression und Rauschunterdrückung, bewährt. Bei Verwendung von Frame-Indizes oder Positional-Indizes als Eingabe rekonstruieren implizite Darstellungen (NeRV, E-NeRV, usw.) Videos aus festen, inhaltsunabhängigen Embeddings. Diese Embeddings beschränken die Regressionskapazität und die interne Generalisierbarkeit erheblich, insbesondere bei der Video-Interpolation. In diesem Paper stellen wir eine Hybrid Neural Representation for Videos (HNeRV) vor, bei der ein lernbarer Encoder inhaltsadaptive Embeddings erzeugt, die als Eingabe für den Decoder dienen. Zusätzlich zu den Eingabembeddings führen wir HNeRV-Blöcke ein, die sicherstellen, dass die Modellparameter gleichmäßig über das gesamte Netzwerk verteilt sind, wodurch tiefere Schichten (Schichten nahe der Ausgabe) eine größere Kapazität zur Speicherung hochauflösender Inhalte und feinster Video-Details erhalten. Durch die Kombination inhaltsadaptiver Embeddings und eines neu gestalteten Architekturansatzes übertrifft HNeRV implizite Methoden in Video-Regressionsaufgaben sowohl hinsichtlich der Rekonstruktionsqualität (+4,7 dB PSNR) als auch der Konvergenzgeschwindigkeit (16-mal schneller) und zeigt eine verbesserte interne Generalisierbarkeit. Als eine einfache und effiziente Video-Darstellung bietet HNeRV zudem Vorteile bei der Dekodierung in Bezug auf Geschwindigkeit, Flexibilität und Bereitstellung im Vergleich zu herkömmlichen Codecs (H.264, H.265) sowie lernbasierten Kompressionsmethoden. Schließlich untersuchen wir die Wirksamkeit von HNeRV in nachgelagerten Aufgaben wie Videokompression und Video-Inpainting. Wir stellen eine Projektseite unter https://haochen-rye.github.io/HNeRV sowie den Quellcode unter https://github.com/haochen-rye/HNeRV bereit.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HNeRV: Eine hybride neuronale Darstellung für Videos | Paper | HyperAI