HyperAIHyperAI

Command Palette

Search for a command to run...

RSTT : Transformateur Spatio-Temporel en Temps Réel pour la Sur-Résolution Vidéo Spatio-Temporelle

Zhicheng Geng Luming Liang Tianyu Ding Ilya Zharkov

Résumé

La sur-résolution spatio-temporelle de vidéo (STVSR) est la tâche d'interpoler des vidéos à la fois à faible taux d'images par seconde (LFR) et à faible résolution (LR) pour produire des versions à haut taux d'images par seconde (HFR) et également à haute résolution (HR). Les méthodes existantes basées sur les réseaux neuronaux convolutifs (CNN) réussissent à obtenir des résultats visuellement satisfaisants mais souffrent d'une vitesse d'inférence lente en raison de leurs architectures lourdes. Nous proposons de résoudre ce problème en utilisant un transformateur spatio-temporel qui intègre naturellement les modules de sur-résolution spatiale et temporelle dans un seul modèle. Contrairement aux méthodes basées sur les CNN, nous n'utilisons pas explicitement des blocs distincts pour les interpolations temporelles et les sur-résolutions spatiales ; au lieu de cela, nous utilisons uniquement une architecture de transformateur bout-en-bout. Plus précisément, un dictionnaire réutilisable est construit par les encodeurs en fonction des images d'entrée LFR et LR, puis utilisé dans la partie décodeur pour synthétiser les images HFR et HR. Comparé au réseau d'état de l'art TMNet \cite{xu2021temporal}, notre réseau est 60 % plus petit (4,5 millions contre 12,3 millions de paramètres) et 80 % plus rapide (26,2 ips contre 14,3 ips sur des images de 720×576720\times576720×576 pixels), sans sacrifier grandement les performances. Le code source est disponible à l'adresse https://github.com/llmpass/RSTT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
RSTT : Transformateur Spatio-Temporel en Temps Réel pour la Sur-Résolution Vidéo Spatio-Temporelle | Articles | HyperAI