EXPLORATION DES INDICES GÉOMÉTRIQUES POUR LA DÉTECTION D’OBJETS DANS UN MONDE OUVERT

Nous abordons la tâche de détection d'objets dans un monde ouvert et indépendante des classes, c'est-à-dire, détecter tous les objets présents dans une image en apprenant à partir d'un nombre limité de classes d'objets de base. Les modèles basés sur RGB les plus performants souffrent d'un surapprentissage des classes d'entraînement et échouent souvent à détecter des objets inédits. Cela est dû au fait que ces modèles s'appuient principalement sur la similarité visuelle pour détecter des objets nouveaux et sont également sensibles au surapprentissage de signaux courts comme les textures et les parties distinctives. Pour remédier à ces limitations des détecteurs d'objets basés sur RGB, nous proposons d'intégrer des indices géométriques tels que la profondeur et les normales, prédits par des estimateurs monoculaires généralistes. Plus précisément, nous utilisons ces indices géométriques pour entraîner un réseau de proposition d'objets destiné à pseudo-étiqueter les objets inédits non annotés dans l'ensemble d'entraînement. Notre déctecteur d'objets dans un monde ouvert guidé par la géométrie (GOOD) améliore considérablement le rappel de détection pour les catégories d'objets inédits et montre déjà de bonnes performances avec seulement quelques classes d'entraînement. En utilisant une seule classe "personne" pour l'entraînement sur le jeu de données COCO, GOOD dépasse les méthodes SOTA (State-of-the-Art) avec une amélioration relative de 24%, soit 5.0% en termes de AR@100.