هرم التقطيع المدرك للكائنات للكشف عن الكائنات ذات المفردات المفتوحة

تهدف الكشف عن الكائنات ذات المفردات المفتوحة إلى تمكين كاشفات الكائنات المدربة على مجموعة ثابتة من فئات الكائنات من القدرة على الكشف عن كائنات يتم وصفها بأسئلة نصية عشوائية. اعتمدت الطرق السابقة على تقنية نقل المعرفة لاستخراج المعرفة من النماذج البصرية واللغوية المُدرّبة مسبقًا (PVLMs) ونقلها إلى كاشفات الكائنات. ومع ذلك، تُعاني هذه الطرق من تدمير المعلومات أثناء عملية استخراج المعرفة، ونقل غير فعّال للمعرفة، نظرًا لعدم مرونة قص الأقتراحات الكائنية وعملية تقليد الميزات على مستوى واحد فقط. لمعالجة هذه القيود، نقترح إطارًا يُسمى هرم نقل المعرفة المُدرك للكائنات (OADP)، يتضمن وحدة استخراج معرفة مُدركَة للكائنات (OAKE) وآلية هرم نقل المعرفة (DP). عند استخراج معرفة الكائنات من نماذج PVLMs، تقوم الوحدة الأولى بتحويل أقتراحات الكائنات بشكل تكيفي، وتستخدم انتباه القناع المُدرك للكائنات للحصول على معرفة دقيقة وشاملة حول الكائنات. أما الآلية الثانية، فهي تُدخل تقليدًا عالميًا وتقليدًا بلوكياً لنقل معرفة أكثر شمولاً، وذلك لتعويض المعلومات المفقودة حول العلاقات أثناء عملية نقل معرفة الكائنات. أظهرت التجارب الواسعة تحسنًا ملحوظًا في أداء طريقة الاقتراح مقارنة بالطرق الحالية. وبخاصة على مجموعة بيانات MS-COCO، حقق إطارنا OADP تقييمًا بلغ $35.6$ mAP$^{\text{N}}{50}$، متفوقًا على أحدث طريقة حالية بمقدار $3.3$ mAP$^{\text{N}}{50}$. تم إصدار الكود على الرابط: https://github.com/LutingWang/OADP.