HyperAIHyperAI
منذ 2 أشهر

PromptStyler: توليد النمط بقيادة الدعوة للعمومية المجال بدون مصدر

Junhyeong Cho; Gilhyun Nam; Sungyeon Kim; Hunmin Yang; Suha Kwak
PromptStyler: توليد النمط بقيادة الدعوة للعمومية المجال بدون مصدر
الملخص

في فضاء مشترك للرؤية واللغة، يمكن لميزة نصية (مثل "صورة لكلب") أن تمثل بفعالية ميزات الصور ذات الصلة (مثل ميزات صور الكلاب). كما أظهرت دراسة حديثة ظاهرة قابلية النقل عبر الأصناف في هذا الفضاء المشترك. استنادًا إلى هذه الملاحظات، نقترح PromptStyler، وهو طريقة تحاكي التحولات التوزيعية المختلفة في الفضاء المشترك من خلال تركيب أساليب متنوعة عبر الدعوات دون استخدام أي صور للتعامل مع التعميم الخالي من المصدر. يتعلم الطريقة المقترحة إنشاء مجموعة متنوعة من ميزات الأسلوب (من "أسلوب S لـ") عبر متجهات كلمات الأسلوب القابلة للتعلم للألفاظ الوهمية S. لضمان عدم تشويه المعلومات المحتوية بواسطة الأساليب المُتعلمة، نجبر ميزات الأسلوب-المحتوى (من "أسلوب S* لـ [فئة]") على الوجود بالقرب من ميزات المحتوى المقابلة (من "[فئة]") في الفضاء المشترك للرؤية واللغة. بعد تعلم متجهات كلمات الأسلوب، نقوم بتدريب تصنيف خطي باستخدام ميزات الأسلوب-المحتوى المصطنعة. يصل PromptStyler إلى أفضل المستويات الحالية على PACS وVLCS وOfficeHome وDomainNet، رغم أنه لا يحتاج إلى أي صور أثناء التدريب.

PromptStyler: توليد النمط بقيادة الدعوة للعمومية المجال بدون مصدر | أحدث الأوراق البحثية | HyperAI