Vers une correction du volet roulant non linéaire et robuste aux occultations

Ce document aborde le problème de la correction du rideau roulant dans des scènes complexes, non linéaires et dynamiques avec une occultation extrême. Les méthodes existantes souffrent de deux principaux inconvénients. Premièrement, elles rencontrent des défis pour estimer le champ de correction précis en raison de l'hypothèse d'une vitesse uniforme, ce qui entraîne des erreurs importantes de correction d'image sous mouvement complexe. Deuxièmement, l'occultation drastique dans les scènes dynamiques empêche les solutions actuelles d'atteindre une meilleure qualité d'image en raison des difficultés inhérentes à l'alignement et à l'agrégation de plusieurs images.Pour relever ces défis, nous modélisons analytiquement la trajectoire curviligne des pixels et proposons un solveur de mouvement basé sur la géométrie appelé Quadratic Rolling Shutter (QRS), qui estime précisément le champ de correction d'ordre supérieur de chaque pixel. De plus, pour reconstruire des images d'occultation de haute qualité dans les scènes dynamiques, nous présentons une architecture vidéo 3D qui aligne et agrège efficacement le contexte multi-image, nommée RSA2-Net.Nous évaluons notre méthode sur une large gamme de caméras et de séquences vidéo, démontrant sa supériorité significative. Plus précisément, notre méthode dépasse l'état de l'art avec des gains respectifs de +4,98 dB, +0,77 dB et +4,33 dB en termes de PSNR sur les jeux de données Carla-RS, Fastec-RS et BS-RSC. Le code source est disponible à l'adresse suivante : https://github.com/DelinQu/qrsc.