Segmentation d'objets transparents dans le monde réel

Des objets transparents tels que les fenêtres et les bouteilles en verre sont courants dans le monde réel. La segmentation de ces objets transparents est un défi majeur, car leur apparence varie considérablement en fonction du fond de l’image, ce qui les rend souvent très similaires à leur environnement. En plus des difficultés techniques inhérentes à cette tâche, seuls quelques jeux de données précédents ont été spécifiquement conçus et collectés pour explorer ce problème, et la plupart des jeux de données existants présentent des défauts importants : soit leur taille est limitée (par exemple, seulement quelques milliers d’images sans annotations manuelles), soit toutes les images sont générées par des méthodes de rendu informatique (c’est-à-dire qu’elles ne sont pas des images réelles). Pour répondre à ce problème crucial, ce travail propose un nouveau jeu de données à grande échelle pour la segmentation d’objets transparents, nommé Trans10K, comprenant 10 428 images provenant de scènes réelles, avec des annotations manuelles soigneusement réalisées, soit dix fois plus d’images que les jeux de données existants. Les objets transparents présents dans Trans10K sont particulièrement difficiles à segmenter en raison de leur grande diversité en termes d’échelle, de point de vue et d’occlusion, comme illustré dans la Figure 1. Pour évaluer l’efficacité de Trans10K, nous proposons une nouvelle méthode de segmentation à connaissance des contours, nommée TransLab, qui exploite les contours comme indice pour améliorer la segmentation des objets transparents. Des expériences abondantes et des études d’ablation démontrent l’efficacité de Trans10K et valident la pertinence de l’apprentissage des contours des objets dans TransLab. Par exemple, TransLab surpasse significativement 20 méthodes récentes de segmentation d’objets basées sur le deep learning, ce qui montre que cette tâche reste largement non résolue. Nous croyons que tant Trans10K que TransLab apportent des contributions importantes tant au domaine académique qu’industriel, en facilitant les recherches futures et les applications pratiques.