HyperAIHyperAI

Command Palette

Search for a command to run...

OpenMask3D : Segmentation d'instances 3D à vocabulaire ouvert

Ayça Takmaz Elisabetta Fedele Robert W. Sumner Marc Pollefeys Federico Tombari Francis Engelmann

Résumé

Nous présentons la tâche de segmentation d'instances 3D à vocabulaire ouvert. Les approches actuelles pour la segmentation d'instances 3D ne peuvent généralement reconnaître que des catégories d'objets issues d'un ensemble fermé et pré-défini de classes annotées dans les ensembles de données d'entraînement. Cela entraîne des limitations importantes pour les applications réelles, où il pourrait être nécessaire d'exécuter des tâches guidées par des requêtes à vocabulaire ouvert, liées à une grande variété d'objets. Récemment, des méthodes de compréhension de scènes 3D à vocabulaire ouvert ont émergé pour résoudre ce problème en apprenant des caractéristiques interrogeables pour chaque point de la scène. Bien que cette représentation puisse être utilisée directement pour effectuer une segmentation sémantique, les méthodes existantes ne peuvent pas séparer plusieurs instances d'objets. Dans ce travail, nous abordons cette limitation et proposons OpenMask3D, une approche zéro-shot pour la segmentation d'instances 3D à vocabulaire ouvert. Guidée par des masques d'instances 3D prédits sans distinction de classe, notre modèle agrège les caractéristiques par masque grâce à une fusion multi-vue des plongements (embeddings) basés sur CLIP. Les expériences et les études d’ablation menées sur ScanNet200 et Replica montrent que OpenMask3D surpasse les autres méthodes à vocabulaire ouvert, particulièrement sur la distribution en queue longue (long-tail distribution). Des expériences qualitatives supplémentaires mettent en évidence la capacité d’OpenMask3D à segmenter les propriétés des objets en fonction de requêtes libres décrivant la géométrie, les possibilités d’utilisation (affordances) et les matériaux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp