HyperAIHyperAI

Command Palette

Search for a command to run...

Randomisation Texture Globale et Locale pour la Segmentation Sémantique Synthétique-vers-Réelle

Duo Peng Yinjie Lei Lingqiao Liu Pingping Zhang Jun Liu

Résumé

La segmentation sémantique est une tâche fondamentale de compréhension d’image, dans laquelle chaque pixel d’une image est attribué à une étiquette correspondante. Étant donné que l’étiquetage pixel par pixel des données de référence (ground-truth) est fastidieux et très coûteux en main-d’œuvre, de nombreuses approches pratiques exploitent des images synthétiques pour entraîner des modèles destinés à la segmentation sémantique d’images du monde réel, ce qu’on appelle la segmentation sémantique du domaine synthétique vers le domaine réel (Synthetic-to-Real Semantic Segmentation, SRSS). Toutefois, les réseaux de neurones convolutifs profonds (CNN) entraînés sur des données synthétiques sources peuvent présenter une mauvaise généralisation sur des données cibles réelles. Dans ce travail, nous proposons deux mécanismes simples mais efficaces de randomisation de texture, nommés respectivement Randomisation Globale de Texture (GTR) et Randomisation Locale de Texture (LTR), dans le cadre de la généralisation de domaine pour la SRSS. La GTR vise à randomiser les textures des images sources vers des styles de texture artificiels diversifiés, afin de réduire la dépendance du réseau vis-à-vis des textures et de favoriser l’apprentissage de caractéristiques invariantes au domaine. Par ailleurs, nous observons que les différences de texture ne se produisent pas nécessairement sur l’ensemble de l’image, mais peuvent être localisées dans certaines régions. Nous proposons donc un mécanisme LTR permettant de générer des régions locales diversifiées afin de styliser partiellement les images sources. Enfin, nous introduisons une régularisation de cohérence entre GTR et LTR (CGL), visant à harmoniser les deux mécanismes proposés pendant l’entraînement. Des expériences étendues sur cinq jeux de données publics (GTA5, SYNTHIA, Cityscapes, BDDS et Mapillary), dans diverses configurations de SRSS (par exemple, GTA5/SYNTHIA vers Cityscapes/BDDS/Mapillary), démontrent que la méthode proposée surpasser les états de l’art en matière de généralisation de domaine pour la SRSS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp