MRFP : Apprentissage de la segmentation sémantique généralisable par Sim-2-Real avec perturbation de caractéristiques multi-résolution

Les réseaux neuronaux profonds ont montré des performances exemplaires dans les tâches de compréhension sémantique des scènes sur des domaines sources, mais en raison de l'absence de diversité stylistique lors de l'entraînement, améliorer les performances sur des domaines cibles inconnus en utilisant uniquement des données d'un seul domaine source reste une tâche difficile. La génération de données simulées est une alternative viable à la collecte de grands ensembles de données réelles et stylistiquement variées, car ce processus est fastidieux et coûteux. Cependant, les importantes incohérences spécifiques au domaine entre les données simulées et les données réelles posent un défi majeur de généralisation dans le cadre de la segmentation sémantique.Dans cette étude, pour atténuer ce problème, nous proposons une nouvelle technique de Perturbation MultiRésolution des Caractéristiques (PMRC) visant à randomiser les caractéristiques fines spécifiques au domaine et à perturber le style des caractéristiques grossières. Nos résultats expérimentaux sur divers ensembles de données de segmentation sémantique urbaine montrent clairement que, outre la perturbation des informations stylistiques, la perturbation des composants de caractéristiques fines est essentielle pour apprendre des cartes de caractéristiques robustes et invariantes aux domaines pour les modèles de segmentation sémantique. La PMRC est un module simple et efficace sur le plan computationnel, transférable, sans paramètres supplémentaires apprenables ni fonctions objectifs additionnelles, qui aide les réseaux neuronaux profonds d'avant-garde à apprendre des caractéristiques robustes et invariantes aux domaines pour la segmentation sémantique du simulé au réel.