Apprentissage multi-dégradation orienté par les ingrédients pour la restauration d’image

Apprendre à exploiter les relations entre diverses tâches de restauration d’images s’avère très bénéfique pour révéler les composantes intrinsèques des dégradations. Ces dernières années ont vu émerger une multitude de méthodes « tout-en-un », capables de traiter plusieurs types de dégradations d’images au sein d’un même modèle. Toutefois, en pratique, peu d’efforts ont été déployés pour explorer les corrélations entre ces tâches, en raison de la difficulté à identifier les composantes fondamentales communes aux différentes dégradations, ce qui entraîne une faible extensibilité lorsque de nouvelles tâches sont ajoutées. Dans cet article, nous proposons une nouvelle perspective pour explorer les dégradations, en adoptant une approche orientée vers les « ingrédients » plutôt que l’approche traditionnelle orientée vers les tâches, afin d’assurer un apprentissage évolutif. Plus précisément, notre méthode, nommée cadre de reformulation des dégradations orienté vers les ingrédients (IDR), repose sur deux étapes : la collecte de connaissances orientées vers les tâches, suivie d’une intégration de connaissances orientée vers les ingrédients. Dans la première étape, nous appliquons des opérations spécifiques à chaque type de dégradation, conformément aux principes physiques sous-jacents, et établissons ainsi des hubs de priori correspondants pour chaque type de dégradation. Dans la seconde étape, nous reformulons progressivement ces hubs orientés vers les tâches en un unique hub orienté vers les ingrédients, à l’aide d’une analyse en composantes principales (PCA) apprenable, et introduisons un mécanisme de routage dynamique pour la suppression probabiliste de dégradations inconnues. Des expérimentations étendues sur diverses tâches de restauration d’images démontrent l’efficacité et l’extensibilité de notre méthode. Plus important encore, le cadre IDR présente une capacité de généralisation remarquable face à des tâches en aval inconnues.