DualCoOp: التكيف السريع في التعرف على العلامات المتعددة مع وجود تسميات محدودة

حل مشكلة التعرف على العلامات المتعددة (MLR) للصور في ظروف وجود علامات قليلة هو مهمة صعبة ذات تطبيقات حقيقية كثيرة. الأبحاث الحديثة تتعلم محاذاة بين المساحات النصية والبصرية لتعويض نقص علامات الصور، ولكنها تخسر الدقة بسبب الكمية المحدودة من التسميات المتعددة المتاحة (MLR). في هذا البحث، نستفيد من المحاذاة القوية للخصائص النصية والبصرية التي تم تدريبها مسبقًا باستخدام ملايين الأزواج الصورة-النص المساعدة، ونقترح إطار عمل موحد يُدعى "تحسين السياق الثنائي" (DualCoOp) للتعامل مع التعرف على العلامات الجزئية والتعرف على العلامات دون الحاجة إلى تدريب سابق (zero-shot MLR). يقوم DualCoOp بتشفير السياقات الإيجابية والسياقات السلبية بأسماء الفئات كجزء من المدخل اللغوي (أي الدعوات). نظرًا لأن DualCoOp يضيف فقط تكلفة قابلة للتعلم خفيفة جدًا فوق الإطار البصري-اللغوي المدرب مسبقًا، يمكنه التكيف بسرعة مع مهام التعرف على العلامات المتعددة التي تحتوي على تسميات محدودة وحتى فئات غير مرئية. أظهرت التجارب على مقاييس الاعتراف بالعلامات المتعددة القياسية عبر حالتي نقص العلامتين الصعبتين المزايا التي يتمتع بها نهجنا مقارنة بالطرق الرائدة في المجال.