PolyTransform : Transformateur de polygones profond pour la segmentation d'instances

Dans cet article, nous proposons PolyTransform, un nouvel algorithme de segmentation d'instances qui produit des masques précis tout en préservant la géométrie des objets, en combinant les forces des approches de segmentation dominantes et des méthodes modernes basées sur les polygones. Plus précisément, nous utilisons d'abord un réseau de segmentation pour générer des masques d'instances. Ces masques sont ensuite convertis en un ensemble de polygones, qui sont ensuite traités par un réseau déformant afin de transformer les polygones de manière à mieux ajuster les contours des objets. Nos expérimentations sur le dataset exigeant Cityscapes montrent que PolyTransform améliore significativement les performances du réseau de base pour la segmentation d'instances, et occupe la première place au classement du test-set de Cityscapes. Nous démontrons également des gains remarquables dans un cadre d'annotation interactive. Nous mettons le code à disposition à l'adresse suivante : https://github.com/uber-research/PolyTransform.