HyperAIHyperAI

Command Palette

Search for a command to run...

Matting d'Image de Référence

Jizhizi Li Jing Zhang Dacheng Tao

Résumé

Différent de la matting d'images conventionnelle, qui nécessite soit des griffonnages/trimap définis par l'utilisateur pour extraire un objet premier spécifique, soit extrait tous les objets premiers de l'image sans distinction, nous introduisons dans cet article une nouvelle tâche nommée Matting d'Images Référencées (RIM), visant à extraire le masque alpha détaillé de l'objet spécifique qui correspond le mieux à la description en langage naturel fournie, permettant ainsi des instructions plus naturelles et simples pour la matting d'images. Tout d'abord, nous établissons un ensemble de données à grande échelle et complexe appelé RefMatte en concevant un moteur complet de composition d'images et de génération d'expressions pour produire automatiquement des images de haute qualité accompagnées d'une variété d'attributs textuels basés sur des ensembles de données publics. RefMatte comprend 230 catégories d'objets, 47 500 images, 118 749 entités expression-région et 474 996 expressions. De plus, nous construisons un ensemble de tests réels avec 100 images naturelles en haute résolution et annotons manuellement des phrases complexes pour évaluer les capacités de généralisation hors domaine des méthodes RIM. En outre, nous présentons une nouvelle méthode de référence CLIPMat pour RIM, incluant une invite contextuelle intégrée, une mise en avant sémantique guidée par le texte et un extracteur de détails multiniveau. De nombreuses expériences sur RefMatte dans les configurations par mots-clés et par expressions valident la supériorité de CLIPMat par rapport aux méthodes représentatives. Nous espérons que ce travail fournira des perspectives novatrices sur la matting d'images et encouragera davantage d'études ultérieures. Le jeu de données, le code et les modèles sont disponibles à l'adresse suivante : https://github.com/JizhiziLi/RIM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp