COCO-Stuff : Classes de choses et d'objets dans un contexte

Les classes sémantiques peuvent être soit des objets (des entités ayant une forme bien définie, par exemple : voiture, personne) soit des éléments amorphes (des régions de fond sans forme définie, par exemple : herbe, ciel). Bien que de nombreux travaux de classification et de détection se concentrent sur les classes d'objets, moins d'attention a été portée aux classes d'éléments amorphes. Cependant, les classes d'éléments amorphes sont importantes car elles permettent d'expliquer des aspects importants d'une image, notamment : (1) le type de scène ; (2) les classes d'objets susceptibles d'être présentes et leur emplacement (par raisonnement contextuel) ; (3) les attributs physiques, les types de matériaux et les propriétés géométriques de la scène. Pour comprendre les éléments amorphes et les objets dans leur contexte, nous présentons COCO-Stuff, qui enrichit toutes les 164 000 images du jeu de données COCO 2017 avec des annotations pixel par pixel pour 91 classes d'éléments amorphes. Nous introduisons un protocole efficace d'annotation des éléments amorphes basé sur des superpixels, en exploitant les annotations originales des objets. Nous quantifions l'équilibre entre rapidité et qualité de notre protocole et explorons la relation entre le temps d'annotation et la complexité des contours. De plus, nous utilisons COCO-Stuff pour analyser : (a) l'importance des classes d'éléments amorphes et d'objets en termes de couverture superficielle et de fréquence à laquelle elles sont mentionnées dans les légendes d'image ; (b) les relations spatiales entre éléments amorphes et objets, soulignant les relations contextuelles riches qui rendent notre ensemble de données unique ; (c) la performance d'une méthode moderne de segmentation sémantique sur les classes d'éléments amorphes et d'objets, ainsi que si les éléments amorphes sont plus faciles à segmenter que les objets.