HyperAIHyperAI

Command Palette

Search for a command to run...

Zeitliche Modulationsnetzwerk für kontrollierbare räumlich-zeitliche Videosuperauflösung

Gang Xu Jun Xu* Zhen Li Liang Wang Xing Sun Ming-Ming Cheng

Zusammenfassung

Raumzeitliche Videosuperauflösung (STVSR) zielt darauf ab, die räumliche und zeitliche Auflösung von Videos mit niedriger Auflösung und geringer Bildwiederholrate zu erhöhen. Kürzlich haben methoden basierend auf deformierbaren Faltungen vielversprechende Ergebnisse bei STVSR erzielt, aber sie konnten nur die im Trainingsprozess vordefinierten Zwischenbilder inferieren. Darüber hinaus vernachlässigen diese Methoden die kurzfristigen Bewegungshinweise zwischen benachbarten Bildern. In dieser Arbeit schlagen wir ein Zeitliches Modulationsnetzwerk (TMNet) vor, um beliebige Zwischenbilder mit genauer Hochauflösungsrekonstruktion zu interpolieren. Insbesondere schlagen wir einen zeitlichen Modulationsblock (TMB) vor, um deformierbare Faltungskerne für steuerbare Merkmalsinterpolation zu modulieren. Um die zeitliche Information optimal auszuwerten, schlagen wir ein lokal-zeitliches Merkmalsvergleichsmodul (LFC) zusammen mit dem bidirektionalen deformierbaren ConvLSTM vor, um kurzfristige und langfristige Bewegungshinweise in Videos zu extrahieren. Experimente an drei Benchmark-Datensätzen zeigen, dass unser TMNet frühere STVSR-Methoden übertrifft. Der Code ist unter https://github.com/CS-GangXu/TMNet verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp