HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation Transformer : Représentations contextuelles objet pour la segmentation sémantique

Yuhui Yuan Xiaokang Chen Xilin Chen Jingdong Wang

Résumé

Dans cet article, nous abordons le problème de la segmentation sémantique en mettant l’accent sur la stratégie d’agrégation du contexte. Notre motivation repose sur le fait que l’étiquette d’un pixel correspond à la catégorie de l’objet auquel ce pixel appartient. Nous proposons une approche simple mais efficace, nommée représentations contextuelles par objet, qui caractérise chaque pixel en exploitant la représentation de la classe d’objet correspondante. Premièrement, nous apprenons les régions objets sous la supervision de la segmentation de référence. Deuxièmement, nous calculons la représentation de la région objet en agrégant les représentations des pixels situés dans cette région. Enfin, nous évaluons la similarité entre la représentation de chaque pixel et celle de chaque région objet, puis enrichissons la représentation de chaque pixel par une représentation contextuelle par objet, obtenue comme une agrégation pondérée de toutes les représentations de régions objets en fonction de leurs relations avec le pixel. Nous démontrons empiriquement que l’approche proposée atteint des performances compétitives sur plusieurs benchmarks exigeants de la segmentation sémantique : Cityscapes, ADE20K, LIP, PASCAL-Context et COCO-Stuff. Notre soumission « HRNet + OCR + SegFix » a obtenu la première place au classement de Cityscapes au moment de la soumission. Le code est disponible à l’adresse : https://git.io/openseg et https://git.io/HRNet.OCR. Nous reformulons le schéma des représentations contextuelles par objet dans le cadre d’un modèle encodeur-décodeur à base de Transformer. Les détails sont présentés dans la Section 3.3.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp