HyperAIHyperAI

Command Palette

Search for a command to run...

Transfert et régularisation de la prédiction pour la segmentation sémantique

Yiheng Zhang Zhaofan Qiu Ting Yao Chong-Wah Ngo Dong Liu Tao Mei

Résumé

La segmentation sémantique nécessite souvent un grand ensemble d’images annotées au niveau des pixels. À la lumière du coût élevé du marquage effectué par des experts, les recherches récentes ont montré que les modèles entraînés sur des données synthétiques photo-réalistes (par exemple, des jeux vidéo) munies d’annotations générées par ordinateur peuvent être adaptés à des images réelles. Malgré ces progrès, en l’absence de contrainte sur les prédictions effectuées sur les images réelles, les modèles s’adaptent facilement aux données synthétiques en raison d’un écart de domaine sévère. Dans cet article, nous exploitons de manière novatrice les propriétés intrinsèques de la segmentation sémantique afin de atténuer ce problème lors du transfert de modèle. Plus précisément, nous proposons un régularisateur de transfert de prédictions (RPT), qui impose ces propriétés intrinsèques comme contraintes afin de régulariser le transfert de modèle de manière non supervisée. Ces contraintes incluent des consistance de prédiction sémantique au niveau des patchs, au niveau des clusters et au niveau du contexte, à différentes échelles de formation d’image. Étant donné que le transfert est libre de labels et guidé par les données, la robustesse des prédictions est améliorée en sélectionnant de manière ciblée un sous-ensemble de régions d’image pour la régularisation du modèle. Des expériences étendues sont menées afin de valider la proposition de RPT dans le cadre du transfert de modèles entraînés sur les jeux de données synthétiques GTA5 et SYNTHIA vers le jeu de données Cityscapes (scènes urbaines de rue). Le RPT montre des améliorations constantes lorsqu’il est intégré à plusieurs réseaux neuronaux pour la segmentation sémantique. De manière particulièrement remarquable, lorsqu’il est intégré à un cadre de segmentation basé sur la génération adversaire, nous rapportons les meilleurs résultats à ce jour : un mIoU de 53,2 % / 51,7 % respectivement lors du transfert de GTA5 et de SYNTHIA vers Cityscapes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Transfert et régularisation de la prédiction pour la segmentation sémantique | Articles | HyperAI