Zeitliche Modulationsnetzwerk für kontrollierbare räumlich-zeitliche Videosuperauflösung

Raumzeitliche Videosuperauflösung (STVSR) zielt darauf ab, die räumliche und zeitliche Auflösung von Videos mit niedriger Auflösung und geringer Bildwiederholrate zu erhöhen. Kürzlich haben methoden basierend auf deformierbaren Faltungen vielversprechende Ergebnisse bei STVSR erzielt, aber sie konnten nur die im Trainingsprozess vordefinierten Zwischenbilder inferieren. Darüber hinaus vernachlässigen diese Methoden die kurzfristigen Bewegungshinweise zwischen benachbarten Bildern. In dieser Arbeit schlagen wir ein Zeitliches Modulationsnetzwerk (TMNet) vor, um beliebige Zwischenbilder mit genauer Hochauflösungsrekonstruktion zu interpolieren. Insbesondere schlagen wir einen zeitlichen Modulationsblock (TMB) vor, um deformierbare Faltungskerne für steuerbare Merkmalsinterpolation zu modulieren. Um die zeitliche Information optimal auszuwerten, schlagen wir ein lokal-zeitliches Merkmalsvergleichsmodul (LFC) zusammen mit dem bidirektionalen deformierbaren ConvLSTM vor, um kurzfristige und langfristige Bewegungshinweise in Videos zu extrahieren. Experimente an drei Benchmark-Datensätzen zeigen, dass unser TMNet frühere STVSR-Methoden übertrifft. Der Code ist unter https://github.com/CS-GangXu/TMNet verfügbar.