OVIR-3D : Recherche d'instances 3D à vocabulaire ouvert sans formation sur des données 3D

Ce travail présente OVIR-3D, une méthode simple mais efficace pour la recherche d'instances d'objets 3D à vocabulaire ouvert sans utiliser de données 3D pour l'entraînement. Étant donné une requête linguistique, la méthode proposée est capable de retourner un ensemble classé de segments d'instances d'objets 3D basé sur la similarité des caractéristiques entre l'instance et la requête textuelle. Ceci est réalisé par une fusion multivue de propositions de régions 2D alignées sur le texte dans l'espace 3D, où le réseau de propositions de régions 2D peut tirer parti de jeux de données 2D, qui sont plus accessibles et généralement plus volumineux que les jeux de données 3D. Le processus de fusion proposé est efficace car il peut être effectué en temps réel pour la plupart des scènes 3D intérieures et ne nécessite pas d'entraînement supplémentaire dans l'espace 3D. Des expériences menées sur des jeux de données publics et un robot réel démontrent l'efficacité de la méthode et son potentiel pour des applications en navigation et manipulation robotique.