PromptStyler : Génération de style guidée par des prompts pour la généralisation de domaine sans source

Dans un espace de vision-langage conjoint, une caractéristique textuelle (par exemple, issue de « une photo d'un chien ») peut représenter efficacement ses caractéristiques visuelles pertinentes (par exemple, issues de photos de chiens). De plus, une récente étude a démontré le phénomène de transférabilité intermodale de cet espace conjoint. À partir de ces observations, nous proposons PromptStyler, qui simule divers décalages de distribution dans l'espace conjoint en synthétisant des styles variés via des prompts sans utiliser aucune image pour traiter la généralisation du domaine sans source. La méthode proposée apprend à générer une variété de caractéristiques stylistiques (de « un style S d'un ») via des vecteurs de mots stylistiques apprenables pour des pseudo-mots S. Pour garantir que les styles appris ne déforment pas les informations sur le contenu, nous forçons les caractéristiques style-contenu (de « un style S* d'un [classe] ») à être situées près de leurs caractéristiques de contenu correspondantes (de « [classe] ») dans l'espace de vision-langage conjoint. Après avoir appris les vecteurs de mots stylistiques, nous entraînons un classifieur linéaire en utilisant des caractéristiques style-contenu synthétisées. PromptStyler atteint l'état de l'art sur PACS, VLCS, OfficeHome et DomainNet, même s'il n'a besoin d'aucune image pour l'entraînement.