PointRend : la segmentation d’image comme rendu

Nous présentons une nouvelle méthode pour une segmentation d’image haute qualité et efficace des objets et des scènes. En établissant une analogie entre les méthodes classiques de rendu en informatique graphique et les défis liés au sur-échantillonnage et au sous-échantillonnage rencontrés dans les tâches de labelisation de pixels, nous proposons une perspective originale de la segmentation d’image comme un problème de rendu. À partir de cette approche, nous introduisons le module neuronal PointRend (Rendering basé sur des points) : un module qui effectue des prédictions de segmentation basées sur des points, aux emplacements sélectionnés de manière adaptative grâce à un algorithme d’itération de subdivision. PointRend peut être appliqué de manière flexible aussi bien aux tâches de segmentation d’instances qu’à celles de segmentation sémantique, en s’appuyant sur des modèles d’état de l’art existants. Bien qu’un grand nombre d’implémentations concrètes de cette idée générale soient possibles, nous montrons qu’un design simple permet déjà d’obtenir des résultats excellents. Qualitativement, PointRend produit des contours d’objets nets dans des régions qui étaient trop lissées par les méthodes antérieures. Quantitativement, PointRend permet des gains significatifs sur les benchmarks COCO et Cityscapes, tant pour la segmentation d’instances que pour la segmentation sémantique. L’efficacité de PointRend permet d’obtenir des résolutions de sortie autrement impraticables en termes de mémoire ou de complexité computationnelle par rapport aux approches existantes. Le code source est disponible à l’adresse suivante : https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend.