HyperAIHyperAI

Command Palette

Search for a command to run...

DualCoOp: التكيف السريع في التعرف على العلامات المتعددة مع وجود تسميات محدودة

Ximeng Sun; Ping Hu; Kate Saenko

الملخص

حل مشكلة التعرف على العلامات المتعددة (MLR) للصور في ظروف وجود علامات قليلة هو مهمة صعبة ذات تطبيقات حقيقية كثيرة. الأبحاث الحديثة تتعلم محاذاة بين المساحات النصية والبصرية لتعويض نقص علامات الصور، ولكنها تخسر الدقة بسبب الكمية المحدودة من التسميات المتعددة المتاحة (MLR). في هذا البحث، نستفيد من المحاذاة القوية للخصائص النصية والبصرية التي تم تدريبها مسبقًا باستخدام ملايين الأزواج الصورة-النص المساعدة، ونقترح إطار عمل موحد يُدعى "تحسين السياق الثنائي" (DualCoOp) للتعامل مع التعرف على العلامات الجزئية والتعرف على العلامات دون الحاجة إلى تدريب سابق (zero-shot MLR). يقوم DualCoOp بتشفير السياقات الإيجابية والسياقات السلبية بأسماء الفئات كجزء من المدخل اللغوي (أي الدعوات). نظرًا لأن DualCoOp يضيف فقط تكلفة قابلة للتعلم خفيفة جدًا فوق الإطار البصري-اللغوي المدرب مسبقًا، يمكنه التكيف بسرعة مع مهام التعرف على العلامات المتعددة التي تحتوي على تسميات محدودة وحتى فئات غير مرئية. أظهرت التجارب على مقاييس الاعتراف بالعلامات المتعددة القياسية عبر حالتي نقص العلامتين الصعبتين المزايا التي يتمتع بها نهجنا مقارنة بالطرق الرائدة في المجال.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp