Découverte de Catégories Généralisée

Dans cet article, nous abordons un cadre d'identification d'images extrêmement général, dans lequel, étant donné un ensemble d'images étiquetées et un ensemble d'images non étiquetées, la tâche consiste à catégoriser toutes les images de l'ensemble non étiqueté. Les images non étiquetées peuvent provenir des classes étiquetées ou de nouvelles classes. Les méthodes d'identification existantes ne sont pas en mesure de traiter ce cadre, car elles font plusieurs hypothèses restrictives, telles que les instances non étiquetées ne venant que de classes connues ou inconnues, et le nombre de classes inconnues étant connu a priori. Nous abordons un cadre moins contraint, que nous nommons « Découverte de Catégories Généralisée », et remettons en question toutes ces hypothèses. Nous établissons tout d'abord des lignes de base solides en prenant des algorithmes de pointe issus de la découverte de nouvelles catégories et en les adaptant à cette tâche. Ensuite, nous proposons l'utilisation de transformateurs visuels avec apprentissage par représentation contrastive pour ce cadre ouvert. Nous introduisons ensuite une méthode simple mais efficace de $k$-moyennes semi-supervisée pour regrouper automatiquement les données non étiquetées en classes vues et non vues, surpassant considérablement les lignes de base. Enfin, nous proposons également une nouvelle approche pour estimer le nombre de classes dans les données non étiquetées. Nous évaluons notre approche en détail sur des jeux de données publics pour la classification générique d'objets et sur des jeux de données fins-grains (fine-grained), en utilisant la suite récente du benchmark Semantic Shift Benchmark. Page du projet : https://www.robots.ox.ac.uk/~vgg/research/gcd