HyperAIHyperAI

Command Palette

Search for a command to run...

OpenSD : Segmentations et détection à vocabulaire ouvert unifiés

Shuai Li Minghan Li Pengfei Wang Lei Zhang

Résumé

Récemment, quelques méthodes à vocabulaire ouvert ont été proposées en utilisant une architecture unifiée pour traiter les tâches générales de segmentation et de détection. Toutefois, leurs performances restent inférieures à celles des modèles spécifiques à chaque tâche en raison du conflit entre les différentes tâches, et leur capacité à gérer un vocabulaire ouvert est limitée en raison d'une utilisation insuffisante de CLIP. Pour relever ces défis, nous présentons un cadre fondé sur un transformateur universel, abrégé en OpenSD, qui utilise la même architecture et les mêmes paramètres de réseau pour traiter les tâches de segmentation et de détection à vocabulaire ouvert. Premièrement, nous introduisons une stratégie d'apprentissage découplée du décodeur afin de réduire le conflit sémantique entre les catégories « thing » et « stuff », permettant ainsi à chaque tâche individuelle d'être apprise de manière plus efficace dans le même cadre. Deuxièmement, afin d’exploiter de manière optimale CLIP pour la segmentation et la détection en bout à bout, nous proposons deux classifieurs distincts, chacun dédié respectivement au domaine « in-vocabulary » et au domaine « out-of-vocabulary ». L’encodeur de texte est par la suite entraîné pour devenir sensible aux régions, tant pour les catégories « thing » que pour les catégories « stuff », grâce à un apprentissage de prompt découplé, ce qui lui permet de filtrer les prédictions redondantes et de faible qualité, une fonction essentielle pour la segmentation et la détection en bout à bout. Des expériences étendues ont été menées sur plusieurs jeux de données dans diverses conditions. Les résultats montrent qu’OpenSD surpassent les méthodes les plus avancées de segmentation et de détection à vocabulaire ouvert, tant dans les configurations à vocabulaire fermé qu’à vocabulaire ouvert. Le code source est disponible à l’adresse suivante : https://github.com/strongwolf/OpenSD


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp