HyperAIHyperAI

Command Palette

Search for a command to run...

Video Frame Interpolation mit dicht abgefragter bilateraler Korrelation

Chang Zhou Jie Liu Jie Tang Gangshan Wu

Zusammenfassung

Video Frame Interpolation (VFI) zielt darauf ab, fehlende Zwischenbilder zwischen vorhandenen Bildern zu synthetisieren. Flow-basierte VFI-Algorithmen schätzen dabei intermediäre Bewegungsfelder, um die vorhandenen Bilder zu deformieren. Die Komplexität realer Bewegungen und das Fehlen einer Referenzbildquelle machen die Bewegungsschätzung jedoch herausfordernd. Viele aktuelle Ansätze modellieren explizit die Korrelationen zwischen zwei benachbarten Bildern, um eine präzisere Bewegungsschätzung zu erreichen. In gängigen Verfahren hängt der Rezeptionsfeldumfang der Korrelationsmodellierung auf höherer Auflösung von zuvor geschätzten Bewegungsfeldern ab. Diese Abhängigkeit vom Rezeptionsfeld beeinträchtigt die Leistung herkömmlicher Bewegungsschätzungsmethoden bei der Behandlung kleiner und schnell bewegter Objekte. Um Korrelationen besser zu modellieren und genauere Bewegungsfelder zu erzeugen, schlagen wir die Densely Queried Bilateral Correlation (DQBC) vor, die das Problem der Rezeptionsfeldabhängigkeit überwindet und somit besonders gut für kleine und schnell bewegte Objekte geeignet ist. Die mit Hilfe von DQBC generierten Bewegungsfelder werden anschließend mit Hilfe von Kontextmerkmalen verfeinert und hochskaliert. Sobald die Bewegungsfelder feststehen, synthetisiert ein CNN-basierter SynthNet das endgültige interpolierte Bild. Experimente zeigen, dass unser Ansatz sowohl eine höhere Genauigkeit als auch eine geringere Inferenzzeit im Vergleich zu aktuellen State-of-the-Art-Verfahren erreicht. Der Quellcode ist unter https://github.com/kinoud/DQBC verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp