Transport optimal conditionné aux résidus prenant en compte la dégradation pour la restauration d'images unifiée

La restauration d'images intégrée (all-in-one) est apparue comme une tâche de vision bas niveau pratique et prometteuse pour les applications du monde réel. Dans ce contexte, la question clé réside dans la manière de traiter simultanément différents types d'images dégradées. Dans cette étude, nous présentons une approche de Transport Optimal Conditionné par des Résidus Dépendants de la Dégénerescence (DA-RCOT) qui modélise la restauration d'images (all-in-one) comme un problème de transport optimal (OT) pour des configurations non appariées et appariées, en introduisant le résidu de transport comme indice spécifique à la dégradation pour à la fois le coût de transport et la carte de transport.Plus précisément, nous formalisons la restauration d'images avec un objectif de transport optimal guidé par des résidus en exploitant les motifs spécifiques à la dégradation du résidu de Fourier dans le coût de transport. De manière plus cruciale, nous concevons la carte de transport pour la restauration sous forme d'une carte DA-RCOT à deux passes, où le résidu de transport est calculé lors de la première passe puis encodé sous forme d'embeddings résiduels multi-échelles pour conditionner la seconde passe de restauration. Ce processus de conditionnement injecte des connaissances intrinsèques sur la dégradation (par exemple, le type et le niveau de dégradation) et des informations structurelles provenant des embeddings résiduels multi-échelles dans la carte de transport, qui peut ainsi ajuster dynamiquement son comportement pour une restauration intégrée.Des expériences approfondies menées sur cinq types de dégradations montrent les performances favorables du DA-RCOT comparativement aux méthodes les plus avancées actuellement disponibles, en termes de mesures de distorsion, de qualité perceptuelle et de préservation des structures d'image. Notamment, le DA-RCOT offre une adaptabilité supérieure aux scénarios du monde réel même en présence de multiples dégradations et montre une robustesse distinctive tant vis-à-vis des niveaux que du nombre de dégradations.