Vers la correction du défilement roulant et le déflouage dans les scènes dynamiques

Les techniques combinées de correction du shutter roulant et de débrouillage (RSCD, Rolling Shutter Correction and Deblurring) sont essentielles pour les caméras CMOS largement utilisées. Toutefois, les approches actuelles reposent encore sur des méthodes d'optimisation énergétique classiques et sont conçues principalement pour des scènes statiques. Afin de permettre aux méthodes basées sur l'apprentissage de résoudre le problème réel de RSCD, nous proposons le premier jeu de données, BS-RSCD, qui inclut à la fois des mouvements de l'observateur (ego-motion) et des mouvements d'objets dans des scènes dynamiques. Des vidéos réelles déformées et floues, ainsi que leurs vérités terrain correspondantes, ont été enregistrées simultanément grâce à un système d’acquisition basé sur un séparateur de faisceau.Étant donné que l’application directe des méthodes existantes de correction du shutter roulant (RSC) ou de débrouillage à shutter global (GSD) au problème RSCD conduit à des résultats insatisfaisants en raison de limitations intrinsèques dans l’architecture des réseaux, nous introduisons également le premier modèle basé sur l’apprentissage (JCD) dédié à la RSCD. L’idée centrale repose sur l’utilisation de deux flux de warpage bidirectionnels pour compenser les déplacements, tout en préservant un flux de débrouillage non warpé afin de restaurer les détails fins. Les résultats expérimentaux montrent que JCD atteint des performances de pointe sur le jeu de données réel de RSCD (BS-RSCD) ainsi que sur le jeu de données synthétique de RSC (Fastec-RS). Le jeu de données et le code sont disponibles à l’adresse suivante : https://github.com/zzh-tech/RSCD.