Instruct-IPT : Transformateur polyvalent pour le traitement d'images par modulation des poids

En raison de la taille prohibitivement importante et du coût de calcul élevé des modèles de vision bas niveau, les modèles polyvalents (All-in-One) conçus pour traiter simultanément plusieurs tâches de vision bas niveau ont connu une grande popularité. Cependant, les modèles polyvalents existants sont limités en termes d'étendue des tâches et de performances. Pour surmonter ces limitations, nous proposons Instruct-IPT -- un Transformers de Traitement d'Images Polyvalent (All-in-One Image Processing Transformer, IPT) capable d'aborder efficacement diverses tâches de restauration d'images présentant de grands écarts entre elles, telles que le débruitage, la défloutage, la suppression de pluie, l'élimination de brume et la désneigement. Alors que la plupart des recherches proposent des méthodes d'adaptation des caractéristiques, nous mettons en évidence leur échec dans le traitement de tâches hautement distinctes et suggérons une modulation des poids qui adapte ces poids à des tâches spécifiques.Premièrement, nous recherchons des poids sensibles aux tâches et introduisons des biais spécifiques à chaque tâche au-dessus d'eux. Deuxièmement, nous effectuons une analyse de rang pour élaborer une bonne stratégie de compression et réalisons une décomposition de rang faible sur les biais. Troisièmement, nous proposons un entraînement synchrone qui met à jour simultanément le modèle tronc commun généraliste (task-general backbone model) et les biais spécifiques à chaque tâche. De cette manière, le modèle est guidé pour apprendre à la fois des connaissances générales et spécifiques à chaque tâche.Grâce à notre méthode simple mais efficace qui guide l'IPT à devenir expert en différentes tâches, Instruct-IPT peut mieux collaborer entre les tâches présentant des caractéristiques distinctes à moindre coût. En outre, nous permettons à Instruct-IPT d'accepter des instructions humaines. Nous avons mené des expériences sur Instruct-IPT pour démontrer l'efficacité de notre méthode sur diverses tâches, et nous avons également étendu notre méthode avec succès aux débruiteurs par diffusion. Le code est disponible sur https://github.com/huawei-noah/Pretrained-IPT.