HyperAIHyperAI

Command Palette

Search for a command to run...

Video Frame Interpolation mit Transformer

Liying Lu Ruizheng Wu Huaijia Lin Jiangbo Lu Jiaya Jia

Zusammenfassung

Video Frame Interpolation (VFI), die darauf abzielt, Zwischenframes eines Videos zu synthetisieren, hat in den letzten Jahren mit der Entwicklung tiefer Faltungsnetzwerke erhebliche Fortschritte gemacht. Bestehende Methoden, die auf Faltungsnetzwerken basieren, stoßen generell auf Schwierigkeiten bei der Bewältigung großer Bewegungen, da die Lokalität der Faltungsoperationen eine Beschränkung darstellt. Um diese Einschränkung zu überwinden, stellen wir einen neuartigen Rahmen vor, der den Transformer nutzt, um langreichweitige Pixelkorrelationen zwischen Videoframes zu modellieren. Zudem ist unser Netzwerk mit einem innovativen, querskaligen Fenster-basierten Aufmerksamkeitsmechanismus ausgestattet, bei dem querskalige Fenster miteinander interagieren. Diese Architektur vergrößert effektiv den Empfindungsfeldbereich und aggregiert Informationen aus mehreren Skalen. Umfangreiche quantitative und qualitative Experimente zeigen, dass unsere Methode auf verschiedenen Benchmarks neue SOTA-Ergebnisse erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp