Détection d'Objets à Vocabulaire Ouvert Utilisant des Légendes

Bien que les réseaux neuronaux profonds présentent une précision remarquable dans la détection d'objets, leur entraînement et leur mise à l'échelle sont coûteux en raison des exigences de supervision. En particulier, l'apprentissage de plus de catégories d'objets nécessite généralement une augmentation proportionnelle des annotations de boîtes englobantes. Des techniques d'apprentissage faiblement supervisé et d'apprentissage par zéro exemple ont été explorées pour mettre à l'échelle les détecteurs d'objets vers un plus grand nombre de catégories avec moins de supervision, mais elles n'ont pas connu le même succès ni la même adoption que les modèles supervisés. Dans cet article, nous proposons une nouvelle formulation du problème de détection d'objets, appelée détection d'objets à vocabulaire ouvert (open-vocabulary object detection), qui est plus générale, plus pratique et plus efficace que les approches faiblement supervisées et par zéro exemple. Nous présentons une méthode innovante pour entraîner des détecteurs d'objets en utilisant des annotations de boîtes englobantes pour un ensemble limité de catégories d'objets, ainsi que des paires image-legendes couvrant une gamme plus large d'objets à un coût considérablement inférieur. Nous montrons que la méthode proposée peut détecter et localiser des objets pour lesquels aucune annotation de boîte englobante n'a été fournie lors de l'entraînement, avec une précision nettement supérieure aux approches par zéro exemple. Parallèlement, les objets annotés par des boîtes englobantes peuvent être détectés presque aussi précisément que par les méthodes supervisées, ce qui est nettement meilleur que les baselines faiblement supervisées. Ainsi, nous établissons un nouveau niveau de référence pour la détection d'objets évolutif.