Réseau Contrastif Guidé par la Sémantique pour la Détection d'Objets en Zero-Shot
La détection d'objets à zéro coup d'œil (Zero-Shot Object Detection, ZSD), qui étend les modèles de détection conventionnels pour détecter des objets appartenant à des catégories non vues, est apparue comme un nouveau défi dans le domaine de la vision par ordinateur. La plupart des approches existantes abordent la tâche ZSD en utilisant une stratégie de transfert de mappage stricte, ce qui peut entraîner des résultats sous-optimaux : 1) le processus d'apprentissage de ces modèles ignore les informations disponibles sur les classes non vues, et peut donc facilement être biaisé en faveur des catégories vues ; 2) l'espace de caractéristiques visuelles original n'est pas bien structuré et manque d'informations discriminantes.Pour résoudre ces problèmes, nous avons développé un nouveau réseau contraste guidé par la sémantique pour la détection à zéro coup d'œil, nommé ContrastZSD. Ce cadre de détection introduit pour la première fois le mécanisme d'apprentissage contraste dans le domaine de la détection à zéro coup d'œil. Plus précisément, ContrastZSD intègre deux sous-réseaux d'apprentissage contraste guidés par la sémantique qui effectuent respectivement des contrastes entre paires région-catégorie et paires région-région. Les tâches contraste par paires profitent de signaux de supervision supplémentaires issus à la fois du label vérité-terrain et de la distribution pré-définie de similarité entre classes.Sous la direction de ces supervisions sémantiques explicites, le modèle peut acquérir plus de connaissances sur les catégories non vues afin d'éviter le problème de biais envers les concepts vus, tout en optimisant la structure des données des caractéristiques visuelles pour une meilleure alignement visuel-sémantique. Des expériences exhaustives ont été menées sur deux benchmarks populaires pour ZSD, à savoir PASCAL VOC et MS COCO. Les résultats montrent que notre méthode surpassent l'état de l'art précédent tant sur les tâches ZSD que généralisées ZSD.