Open3DIS : Segmentation d'instances 3D avec vocabulaire ouvert et guidage par masque 2D

Nous présentons Open3DIS, une nouvelle solution conçue pour résoudre le problème de segmentation d'instances à vocabulaire ouvert dans les scènes 3D. Les objets présents dans les environnements 3D présentent des formes, des échelles et des couleurs variées, ce qui rend l'identification précise au niveau des instances un défi majeur. Les récentes avancées dans la compréhension des scènes à vocabulaire ouvert ont permis des progrès significatifs dans ce domaine en utilisant des réseaux de proposition d'instances 3D indépendants de la classe pour la localisation des objets et en apprenant des caractéristiques interrogeables pour chaque masque 3D. Bien que ces méthodes produisent des propositions d'instances de haute qualité, elles peinent à identifier les objets de petite échelle et géométriquement ambigus. L'idée centrale de notre méthode est un nouveau module qui agrège les masques d'instances 2D sur plusieurs images et les mappe vers des régions nuageuses de points géométriquement cohérentes comme des propositions d'objets de haute qualité, adressant ainsi les limitations mentionnées. Ces propositions sont ensuite combinées avec des propositions d'instances 3D indépendantes de la classe pour inclure une large gamme d'objets du monde réel. Pour valider notre approche, nous avons mené des expériences sur trois ensembles de données importants, dont ScanNet200, S3DIS et Replica, démontrant des gains de performance significatifs dans la segmentation d'objets appartenant à diverses catégories par rapport aux approches actuelles les plus avancées.