Apprendre à Découvrir et Déceler les Objets

Nous abordons le problème de la découverte et de la localisation de nouvelles classes (NCDL). Dans ce cadre, nous supposons qu'un ensemble de données source est supervisé pour certaines classes d'objets uniquement. Les instances d'autres classes doivent être découvertes, classifiées et localisées automatiquement en fonction de leur similarité visuelle, sans aucune supervision humaine. Pour résoudre le problème NCDL, nous proposons un réseau de détection d'objets en deux étapes basé sur les régions, appelé Region-based NCDL (RNCDL), qui utilise un réseau de proposition de régions pour localiser des régions d'intérêt (RoIs). Nous formons ensuite notre réseau à classifier chaque RoI, soit comme l'une des classes connues présentes dans l'ensemble de données source, soit comme l'une des nouvelles classes, avec une contrainte de distribution à queue longue sur les affectations de classe, reflétant la fréquence naturelle des classes dans le monde réel. En formant notre réseau de détection selon cet objectif de manière end-to-end, il apprend à classifier toutes les propositions de régions pour une grande variété de classes, y compris celles qui ne font pas partie du vocabulaire des classes d'objets étiquetés. Nos expériences menées à l'aide des ensembles de données COCO et LVIS montrent que notre méthode est significativement plus efficace que les pipelines multistages reposant sur des algorithmes traditionnels de regroupement. De plus, nous démontrons la généralité de notre approche en appliquant notre méthode au grand ensemble de données Visual Genome, où notre réseau réussit à détecter diverses classes sémantiques sans supervision directe.