Apprentissage d'une transformation adaptative pour la correction du rolling shutter en situation réelle

Cet article propose le premier jeu de données réel dédié à la correction de l’effet de shutter roulant (rolling shutter, RS), nommé BS-RSC, ainsi qu’un modèle correspondant pour corriger les images altérées par cet effet dans une séquence vidéo. Les appareils mobiles grand public équipés de capteurs CMOS pour la capture vidéo sont fréquemment sujets à des effets de shutter roulant lorsque des mouvements relatifs surviennent pendant l’enregistrement, ce qui rend nécessaire le développement de techniques de suppression de cet effet. Toutefois, les méthodes actuelles d’état de l’art en matière de correction du shutter roulant échouent souvent dans des scénarios réels, en raison de la grande variété et de la complexité des mouvements à modéliser. Pour remédier à ce problème, nous proposons un jeu de données réel, BS-RSC, constitué de vidéos altérées accompagnées de vérités terrain (ground truth) enregistrées simultanément grâce à un système d’acquisition à base de séparateur de faisceau soigneusement conçu. Le jeu de données BS-RSC inclut une grande diversité de mouvements, tant du capteur que des objets, dans des scènes dynamiques. Par ailleurs, nous proposons un modèle de correction du shutter roulant basé sur une transformation adaptative (warping). Ce modèle permet de transformer de manière adaptative les caractéristiques apprises du shutter roulant en images correspondantes au shutter global, en utilisant des champs de déplacement multiples prédits. Ces caractéristiques transformées sont ensuite agrégées et reconstruites en images de shutter global de haute qualité selon une stratégie de raffinement progressif (de grossier à fin). Les résultats expérimentaux démontrent l’efficacité de la méthode proposée, et le jeu de données BS-RSC permet d’améliorer significativement la capacité des modèles à supprimer les effets de shutter roulant dans des conditions réelles.