BasicVSR : La Recherche des Composants Essentiels dans le Suréchantillonnage Vidéo et Au-delà

Les approches de sur-résolution vidéo (VSR) ont tendance à comporter plus de composants que leurs homologues en images, car elles doivent exploiter la dimension temporelle supplémentaire. Des conceptions complexes ne sont pas rares. Dans cette étude, nous souhaitons démêler ces complexités et réexaminer certains des composants essentiels pour la VSR, guidés par quatre fonctionnalités de base, à savoir : la propagation, l'alignement, l'agrégation et le grossissement (upsampling). En réutilisant certains composants existants avec des modifications minimales, nous présentons une pipeline simplifiée, BasicVSR, qui offre des améliorations notables en termes de vitesse et de qualité de restauration par rapport à de nombreux algorithmes d'avant-garde. Nous menons une analyse systématique pour expliquer comment ces gains peuvent être obtenus et discutons des pièges potentiels. Nous montrons également l'extensibilité de BasicVSR en introduisant un mécanisme de remplissage d'information et un schéma de propagation couplée pour faciliter l'agrégation d'informations. BasicVSR et son extension, IconVSR, peuvent servir de solides points de référence pour les futures approches VSR.