HyperAIHyperAI

Command Palette

Search for a command to run...

CoDet : Alignement guidé par la co-occurrence entre régions et mots pour la détection d'objets à vocabulaire ouvert

Ma Chuofan ; Jiang Yi ; Wen Xin ; Yuan Zehuan ; Qi Xiaojuan

Résumé

L'obtention d'une correspondance fiable entre régions et mots à partir de paires image-texte est cruciale pour apprendre des représentations vision-langage au niveau des objets pour la détection d'objets à vocabulaire ouvert. Les méthodes existantes s'appuient généralement sur des modèles vision-langage pré-entraînés ou auto-entraînés pour l'alignement, ce qui peut entraîner des limitations en termes de précision de localisation ou de capacités de généralisation. Dans cet article, nous proposons CoDet, une nouvelle approche qui surmonte la dépendance à l'espace vision-langage pré-aligné en reformulant l'alignement région-mot comme un problème de découverte d'objets co-occurrents. Intuitivement, en regroupant les images qui mentionnent un concept partagé dans leurs légendes, les objets correspondant à ce concept devraient présenter une forte co-occurrence au sein du groupe. CoDet utilise ensuite les similarités visuelles pour découvrir ces objets co-occurrents et les aligner avec le concept partagé. De nombreuses expériences montrent que CoDet présente des performances supérieures et une scalabilité convaincante en détection à vocabulaire ouvert, par exemple, en élargissant le backbone visuel, CoDet atteint 37,0 APnovelm\text{AP}^m_{novel}APnovelm et 44,7 APallm\text{AP}^m_{all}APallm sur OV-LVIS, surpassant l'état de l'art précédent de 4,2 APnovelm\text{AP}^m_{novel}APnovelm et 9,8 APallm\text{AP}^m_{all}APallm. Le code est disponible à l'adresse https://github.com/CVMI-Lab/CoDet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp