GRES: تقسيم التعبيرات المرجعية المعممة

يهدف تقسيم التعبيرات المرجعية (Referring Expression Segmentation - RES) إلى إنشاء قناع تقسيم لل obeject الموصوف بواسطة تعبير لغوي معين. ومع ذلك، فإن معظم مجموعات البيانات والطرق التقليدية في RES تدعم فقط التعبيرات ذات الهدف الواحد، أي أن كل تعبير يشير إلى كائن هدف واحد فقط. ولا يتم الأخذ بعين الاعتبار التعبيرات ذات الأهداف المتعددة أو عدم وجود أهداف. وهذا يحد من استخدام RES في التطبيقات العملية. في هذا البحث، نقدم معيارًا جديدًا يُسمى تقسيم التعبيرات المرجعية المعممة (Generalized Referring Expression Segmentation - GRES)، والذي يوسع نطاق RES التقليدي ليتيح للتعبيرات الإشارة إلى عدد تعسفي من الكائنات الهدف. لتحقيق هذا الغرض، قمنا ببناء أول مجموعة بيانات على نطاق واسع في GRES تُسمى gRefCOCO تحتوي على تعبيرات ذات أهداف متعددة، وعدم وجود أهداف، وأهداف واحدة. تم تصميم GRES وgRefCOCO لتكون متوافقة جيدًا مع RES، مما يسهل إجراء تجارب واسعة لدراسة الفجوة في الأداء بين الطرق الحالية في مهمة GRES. في دراسة التجارب، اكتشفنا أن أحد أكبر التحديات في GRES هو نمذجة العلاقات المعقدة. بناءً على هذا، اقترحنا طريقة أساسية مستندة إلى المناطق (Region-based GRES Baseline - ReLA) تقوم بتقسيم الصورة بشكل متكيف إلى مناطق تحتوي على مؤشرات فرعية للنموذج، وتقوم بنمذجة الاعتمادات بين المنطقة والمنطقة وبين المنطقة واللغة بشكل صريح. حققت الطريقة المقترحة ReLA أداءً رائدًا جديدًا في كل من المهمة الجديدة GRES والمهمة التقليدية RES. يمكن الوصول إلى مجموعة البيانات gRefCOCO والطريقة المقترحة عبر الرابط: https://henghuiding.github.io/GRES.