ScaleDet : Un détecteur d'objets multi-jeux de données évolutif

L'entraînement sur plusieurs jeux de données constitue une solution viable pour exploiter des jeux de données à grande échelle hétérogènes sans coût supplémentaire d'annotation. Dans ce travail, nous proposons un détecteur multi-données évolutif (ScaleDet) capable d'améliorer sa généralisation entre jeux de données à mesure que le nombre de jeux de données d'entraînement augmente. Contrairement aux méthodes existantes de apprentissage multi-données, qui reposent principalement sur des efforts manuels de réétiquetage ou sur des optimisations complexes pour uniformiser les étiquettes entre jeux de données, nous introduisons une formulation simple mais évolutives pour établir un espace sémantique d'étiquettes unifié adapté à l'entraînement multi-données. ScaleDet est entraîné par alignement visuel-textuel afin d'apprendre l'affectation d'étiquettes en tenant compte des similarités sémantiques entre étiquettes à travers différents jeux de données. Une fois entraîné, ScaleDet se généralise efficacement sur n'importe quel jeu de données amont et aval, qu'il s'agisse de classes connues ou inconnues. Nous menons des expériences étendues en utilisant LVIS, COCO, Objects365 et OpenImages comme jeux de données amont, et 13 jeux de données provenant du projet Object Detection in the Wild (ODinW) comme jeux de données aval. Nos résultats montrent que ScaleDet atteint des performances modèles remarquables, avec un mAP de 50,7 sur LVIS, 58,8 sur COCO, 46,8 sur Objects365, 76,2 sur OpenImages et 71,8 sur ODinW, surpassant ainsi les détecteurs de pointe utilisant le même squelette (backbone).