خلفية قابلة للتعلم للكشف عن الأشياء دون تدريب مسبق

الكشف عن الصفر (ZSD) يعد حاسمًا في الكشف عن الأشياء على نطاق واسع، بهدف تحديد موقع وتعرف الأشياء غير المرئية بشكل متزامن. لا تزال هناك عدة تحديات تواجه ZSD، بما في ذلك تقليل الغموض بين الخلفية والأشياء غير المرئية وتحسين التوافق بين المفهوم البصري والمفهوم الدلالي. في هذا العمل، نقترح إطارًا جديدًا يُسمى الشلال القابل للتعلم من الخلفية (BLC) لتحسين أداء ZSD. المساهمات الرئيسية لـ BLC هي كالتالي: (i) نقترح بنية سلسلة متعددة المراحل تُسمى Cascade Semantic R-CNN لتكرار تحسين التوافق بين المفهوم البصري والمفهوم الدلالي لـ ZSD؛ (ii) نطور بنية جريان المعلومات الدلالية وإضافة هذه البنية مباشرة بين كل مرحلة في Cascade Semantic R-CNN لتحسين التعلم الخاص بالخصائص الدلالية بشكل أكبر؛ (iii) نقترح شبكة اقتراح المناطق القابلة للتعلم من الخلفية (BLRPN) لتعلم متجه كلمة مناسب للصنف الخلفي واستخدام هذا المتجه المتعلم في Cascade Semantic R-CNN، مما يجعل "الخلفية قابلة للتعلم" ويقلل من الالتباس بين الصنف الخلفي والأشياء غير المرئية. تظهر تجاربنا الواسعة أن BLC حقق تحسينات أداء كبيرة على MS-COCO مقارنة بأحدث الأساليب المتقدمة.