HyperAIHyperAI
vor 2 Monaten

PromptStyler: Prompt-gesteuerte Stilgenerierung für source-freie Domänenverallgemeinerung

Junhyeong Cho; Gilhyun Nam; Sungyeon Kim; Hunmin Yang; Suha Kwak
PromptStyler: Prompt-gesteuerte Stilgenerierung für source-freie Domänenverallgemeinerung
Abstract

In einem gemeinsamen visuellen-linguistischen Raum kann ein Textmerkmal (z.B. von „ein Foto eines Hundes“) seine relevanten Bildmerkmale (z.B. von Fotos von Hunden) effektiv darstellen. Eine jüngste Studie hat zudem das Phänomen der modalitätsübergreifenden Übertragbarkeit dieses gemeinsamen Raums demonstriert. Auf Basis dieser Beobachtungen schlagen wir PromptStyler vor, eine Methode, die verschiedene Verteilungsschiebungen im gemeinsamen Raum durch die Synthese vielfältiger Stile mittels Prompts simuliert, ohne dabei Bilder zu verwenden, um Quellenfreie Domänenverallgemeinerung zu bewältigen. Die vorgeschlagene Methode lernt, eine Vielzahl von Stilmerkmalen (von „ein S Stil von a“) über lernfähige Stilwortvektoren für Pseudo-Wörter S zu generieren. Um sicherzustellen, dass die gelernten Stile die Informationsgehalt nicht verzerren, zwingen wir Stil-Inhalts-Merkmale (von „ein S* Stil von a [Klasse]“) in den gemeinsamen visuellen-linguistischen Raum in der Nähe ihrer entsprechenden Inhaltsmerkmale (von „[Klasse]“) zu liegen. Nach dem Lernen der Stilwortvektoren trainieren wir einen linearen Klassifikator unter Verwendung synthetischer Stil-Inhalts-Merkmale. PromptStyler erreicht den aktuellen Stand der Technik auf PACS, VLCS, OfficeHome und DomainNet, obwohl es keine Bilder für das Training benötigt.

PromptStyler: Prompt-gesteuerte Stilgenerierung für source-freie Domänenverallgemeinerung | Neueste Forschungsarbeiten | HyperAI