وصف الكشف عن الأشياء: تحرير الكشف عن الأشياء باستخدام تعبيرات مرنة

اكتشاف الأشياء بناءً على المعلومات اللغوية هو مهمة شائعة تشمل اكتشاف الأشياء المفتوح-المفردات (OVD) وفهم التعبيرات الإشارية (REC). في هذا البحث، نطور هذه المهام إلى إعداد أكثر عملية يُطلق عليه اكتشاف الأشياء الموصوفة (DOD) من خلال توسيع أسماء الفئات إلى تعبيرات لغوية مرنة لـ OVD وتخطي قيود REC التي تقتصر فقط على ترسيخ الأشياء الموجودة مسبقًا. نقوم بتأسيس الأساس البحثي لـ DOD من خلال بناء مجموعة بيانات اكتشاف الوصف ($D^3$). تتضمن هذه المجموعة بيانات تعبيرات لغوية مرنة، سواء كانت أسماء فئات قصيرة أو وصفًا طويلًا، وتوثيق جميع الأشياء الموصوفة في جميع الصور دون استثناء. من خلال تقييم الطرق الرائدة سابقًا على $D^3$، نجد بعض المشكلات التي تعاني منها الطرق الحالية لـ REC و OVD والطرق ثنائية الوظيفة. تعاني طرق REC من مشكلات في درجات الثقة، رفض الحالات السلبية، والسيناريوهات متعددة الأهداف، بينما تواجه طرق OVD تحديات مع الوصف الطويل والمعقد. كما أن الطرق ثنائية الوظيفة الحديثة لا تعمل بشكل جيد في DOD بسبب إجراءاتها التدريبية والاستدلالية المنفصلة لكل من مهام REC و OVD. بناءً على النتائج المشار إليها أعلاه، نقترح أساسًا يحسن بشكل كبير طرق REC من خلال إعادة بناء البيانات التدريبية وإدخال مهمة تصنيف ثنائي فرعي، مما يجعلها أفضل من الطرق الموجودة حاليًا. يمكن الوصول إلى البيانات والكود عبر الرابط https://github.com/shikras/d-cube، ويتم تتبع الأعمال ذات الصلة في الرابط https://github.com/Charles-Xie/awesome-described-object-detection.