Restauration et Amélioration d'Images en Séquence Rapide

Les appareils portables modernes peuvent acquérir des séquences d'images en rafale rapidement et en succession. Cependant, les images individuelles subissent plusieurs dégradations et sont mal alignées en raison du tremblement de l'appareil photo et des mouvements d'objets. L'objectif de la Restauration d'Images en Rafale est de combiner efficacement les indices complémentaires à travers plusieurs images en rafale pour générer des sorties de haute qualité. Pour atteindre cet objectif, nous développons une nouvelle approche en nous concentrant uniquement sur l'échange d'informations efficace entre les images en rafale, de manière à filtrer les dégradations tout en préservant et améliorant les détails réels de la scène. Notre idée centrale est de créer un ensemble de caractéristiques pseudo-rafale qui combinent les informations complémentaires de toutes les images d'entrée en rafale pour échanger l'information sans heurt. Cependant, ces caractéristiques pseudo-rafale ne peuvent être créées avec succès que si les images individuelles en rafale sont correctement alignées afin de compenser les mouvements inter-images. Par conséquent, notre approche commence par extraire des caractéristiques pré-traitées de chaque image en rafale et les fait correspondre à l'aide d'un module d'alignement en rafale renforcé par le contour (edge-boosting). Les caractéristiques pseudo-rafale sont ensuite créées et enrichies à l'aide d'informations contextuelles multi-échelles. Notre dernière étape consiste à agréger adaptativement l'information provenant des caractéristiques pseudo-rafale pour augmenter progressivement la résolution en plusieurs étapes tout en fusionnant ces caractéristiques. Comparativement aux travaux existants qui suivent généralement un schéma de fusion tardive avec un agrandissement mono-étape, notre approche se distingue favorablement, offrant des performances de pointe dans les tâches de super-résolution en rafale, d'amélioration d'images sous faible éclairage et de débruitage en rafale. Le code source et les modèles pré-entraînés sont disponibles à l'adresse \url{https://github.com/akshaydudhane16/BIPNet}.