HyperAIHyperAI

Command Palette

Search for a command to run...

Grounding DINO : Allier DINO à la pré-formation ancrée pour la détection d'objets en ensemble ouvert

Résumé

Dans cet article, nous présentons un détecteur d'objets en ensemble ouvert, appelé Grounding DINO, en combinant le détecteur basé sur les Transformers DINO avec une préformation ancrée, capable de détecter des objets arbitraires grâce aux entrées humaines telles que des noms de catégories ou des expressions de référence. La solution clé pour la détection d'objets en ensemble ouvert réside dans l'introduction du langage à un détecteur en ensemble fermé afin de généraliser les concepts en ensemble ouvert. Pour fusionner efficacement les modalités linguistiques et visuelles, nous divisons conceptuellement un détecteur en ensemble fermé en trois phases et proposons une solution de fusion serrée, qui comprend un améliorateur de caractéristiques, une sélection de requêtes guidée par le langage et un décodeur inter-modalité pour la fusion inter-modalité. Bien que les travaux précédents évaluent principalement la détection d'objets en ensemble ouvert sur des catégories nouvelles, nous proposons également d'évaluer la compréhension des expressions de référence pour des objets spécifiés par leurs attributs. Grounding DINO obtient des résultats remarquables dans les trois configurations, y compris sur les benchmarks COCO, LVIS, ODinW et RefCOCO/+/g. Grounding DINO atteint un AP (Average Precision) de 52,5 sur le benchmark de transfert zéro-shot de détection COCO, c'est-à-dire sans aucune donnée d'entraînement provenant de COCO. Il établit un nouveau record sur le benchmark zéro-shot ODinW avec une moyenne d'AP de 26,1. Le code sera disponible à l'adresse \url{https://github.com/IDEA-Research/GroundingDINO}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp