HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation Universelle à Granularité Arbitraire avec Instructions Linguistiques

Yong Liu Cairong Zhang Yitong Wang Jiahao Wang Yujiu Yang Yansong Tang

Résumé

Ce travail vise à réaliser une segmentation universelle à tout niveau sémantique. Malgré les progrès significatifs réalisés ces dernières années, les approches de segmentation spécialisées sont limitées à des tâches et des distributions de données spécifiques. Le réentraînement d'un nouveau modèle pour s'adapter à de nouveaux scénarios ou paramètres est coûteux en termes de calcul et de temps, ce qui soulève la nécessité d'un modèle de segmentation polyvalent et universel capable de répondre à diverses granularités. Bien que quelques tentatives aient été faites pour unifier différentes tâches de segmentation ou généraliser à divers scénarios, les limitations dans la définition des paradigmes et des espaces d'entrée-sortie rendent difficile leur capacité à atteindre une compréhension précise du contenu à toute granularité. À cet égard, nous présentons UniLSeg, un modèle de segmentation universelle capable d'effectuer la segmentation à tout niveau sémantique sous la guidance d'instructions linguistiques. Pour l'entraînement de UniLSeg, nous avons regroupé un ensemble de tâches provenant de distributions initialement diverses en un format de données unifié, où les images avec des textes décrivant les cibles de segmentation servent d'entrée et les masques correspondants sont produits en sortie. Associé à un moteur d'annotation automatique pour exploiter une grande quantité de données non étiquetées, UniLSeg obtient des performances excellentes sur diverses tâches et paramètres, surpassant tant les modèles spécialisés que ceux unifiés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp