Apprentissage pour la sur-résolution vidéo par estimation du flux optique HR

La super-résolution vidéo (SR) vise à générer une séquence d'images de haute résolution (HR) avec des détails plausibles et cohérents temporellement à partir de leurs homologues de basse résolution (LR). La génération d'une correspondance précise joue un rôle crucial dans la super-résolution vidéo. Les méthodes traditionnelles de super-résolution vidéo ont montré que la SR simultanée des images et des flux optiques peut fournir des correspondances précises et de meilleurs résultats en SR. Cependant, les flux optiques de basse résolution sont utilisés dans les méthodes actuelles basées sur l'apprentissage profond pour la génération de correspondance. Dans cet article, nous proposons un cadre de super-résolution vidéo entièrement entraînable par apprentissage automatique pour réaliser la super-résolution des images et des flux optiques. Plus précisément, nous introduisons tout d'abord un réseau de reconstruction du flux optique (OFRnet) pour inférer les flux optiques HR par une approche progressive du grossier au fin. Ensuite, une compensation du mouvement est effectuée en fonction des flux optiques HR. Enfin, les entrées LR compensées sont alimentées à un réseau de super-résolution (SRnet) pour générer les résultats SR. De nombreuses expériences montrent que les flux optiques HR fournissent des correspondances plus précises que leurs homologues LR et améliorent à la fois la précision et la performance de cohérence temporelle. Les résultats comparatifs sur les ensembles de données Vid4 et DAVIS-10 démontrent que notre cadre atteint des performances de pointe.Note : - "Optical flow" est traduit par "flux optique", qui est le terme couramment utilisé en français dans ce domaine.- "End-to-end trainable" est traduit par "entièrement entraînable", ce qui signifie que le modèle peut être formé dans son intégralité sans nécessiter d'étapes intermédiaires manuelles.- "Coarse-to-fine" est traduit par "progressive du grossier au fin", ce qui reflète bien l'idée d'une approche allant d'une résolution grossière à une résolution fine.- "Motion compensation" est traduit par "compensation du mouvement", un terme technique standard en français.- "State-of-the-art performance" est traduit par "performances de pointe", une expression courante en français pour désigner les meilleures performances actuelles dans un domaine donné.