HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de Modulation Temporelle pour une Sur-Résolution Vidéo Contrôlée dans l'Espace-Temps

Gang Xu Jun Xu* Zhen Li Liang Wang Xing Sun Ming-Ming Cheng

Résumé

La super-résolution spatio-temporelle des vidéos (STVSR) vise à augmenter les résolutions spatiale et temporelle des vidéos de faible résolution et de faible taux d'images. Récemment, les méthodes basées sur la convolution déformable ont obtenu des performances prometteuses en STVSR, mais elles ne pouvaient inférer que les images intermédiaires prédéfinies lors de l'étape d'entraînement. De plus, ces méthodes sous-estimaient les indices de mouvement à court terme entre les images adjacentes. Dans cet article, nous proposons un réseau de modulation temporelle (TMNet) pour interpoler des images intermédiaires arbitraires avec une reconstruction haute résolution précise. Plus précisément, nous proposons un bloc de modulation temporelle (TMB) pour moduler les noyaux de convolution déformable afin d'interpoler les caractéristiques de manière contrôlée. Pour exploiter efficacement l'information temporelle, nous proposons un module de comparaison des caractéristiques localement-temporelles (LFC), associé au Bi-directional Deformable ConvLSTM, pour extraire les indices de mouvement à court et long terme dans les vidéos. Les expériences menées sur trois ensembles de données de référence montrent que notre TMNet surpassent les méthodes précédentes en STVSR. Le code est disponible sur https://github.com/CS-GangXu/TMNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp