إحضار نماذج الربط التكيفي إلى تقسيم التعبيرات الإشارة المعممة

لقد أثارت تقنية تجزئة التعبيرات المرجعية (RES) اهتمامًا متزايدًا، بهدف تحديد وتجزئة الأشياء بناءً على التعبيرات اللغوية الطبيعية. رغم التقدم الكبير الذي تحقق في مجال RES، فإن ظهور تقنية تجزئة التعبيرات المرجعية المعممة (GRES) قد قدمت تحديات جديدة من خلال السماح للتعبيرات بوصف عدة أشياء أو عدم وجود مراجع محددة للأشياء. تعتمد الأساليب الحالية لـ RES عادةً على وحدات متطورة للتشفير والتفكيش ودمج الخصائص، وهي صعبة في إنشاء نماذج فئوية تناسب كل حالة بشكل منفصل عند التعامل مع المرجع المعقد والعلامات الثنائية لـ GRES.في هذه الورقة البحثية، وبعد إعادة تقييم الاختلافات بين RES و GRES، نقترح نموذجًا جديدًا مع نماذج ربط متكيفة (MABP) يربط استعلامات الأشياء بخصائصها في المنطقة المقابلة بشكل مرن. هذا النموذج يسمح لمتجهات الاستعلام المختلفة بالتوافق مع حالات الفئات المختلفة أو أجزاء مختلفة لنفس الحالة، مما يوسع بشكل كبير مرونة الوحدة المفككة، ويوزع الضغط العالمي على جميع الاستعلامات، ويقلل من المتطلبات المفروضة على الوحدة المشفرة. تظهر النتائج التجريبية أن MABP يتفوق بشكل كبير على أفضل الأساليب الحالية في جميع التقسيمات الثلاثة لقاعدة بيانات gRefCOCO. وفي الوقت نفسه، فإن MABP يتفوق أيضًا على أفضل الأساليب الحالية في قاعدة بيانات RefCOCO+ و G-Ref، ويحقق نتائج تنافسية للغاية في قاعدة بيانات RefCOCO.الكود متاح على الرابط: https://github.com/buptLwz/MABP