EvTexture : Amélioration de texture pilotée par événement pour la super-résolution vidéo

La vision basée sur les événements a suscité un intérêt croissant en raison de ses caractéristiques uniques, telles qu'une haute résolution temporelle et une grande plage dynamique. Elle a récemment été utilisée dans la super-résolution vidéo (SRV) pour améliorer l'estimation du flot optique et l'alignement temporel. Contrairement aux approches axées sur l'apprentissage du mouvement, nous proposons dans cet article la première méthode SRV qui utilise les signaux d'événements pour l'amélioration texturale. Notre méthode, appelée EvTexture, exploite les détails à haute fréquence des événements afin de mieux restituer les régions texturées dans la SRV. Dans le cadre de notre EvTexture, nous présentons une nouvelle branche d'amélioration texturale. Nous introduisons également un module d'amélioration texturale itératif pour explorer progressivement les informations d'événements à haute résolution temporelle en vue de la restauration texturale. Cela permet une amélioration progressive des régions texturées au fil de plusieurs itérations, conduisant ainsi à des détails haute résolution plus précis et riches. Les résultats expérimentaux montrent que notre EvTexture atteint des performances de pointe sur quatre jeux de données. Pour le jeu de données Vid4, riche en textures, notre méthode peut obtenir jusqu'à 4,67 dB de gain par rapport aux méthodes récentes basées sur les événements. Code : https://github.com/DachunKai/EvTexture.