أنبوب مفتوح شامل للربط الموحد وكشف الأشياء

نقدم لكم نموذج الكشف المفتوح Grounding-DINO، وهو من أحدث النماذج في مجال الكشف عن الأشياء خارج مجموعة التدريب (الكشف المفتوح) والذي يتعامل مع مهام متعددة في الرؤية الحاسوبية، بما في ذلك الكشف عن الكلمات المفتوحة (OVD)، تثبيت الجمل (PG)، وفهم التعبيرات المرجعية (REC). لقد أدت فعاليته إلى اعتماده على نطاق واسع كهيكل أساسي رئيسي لتطبيقات مختلفة لاحقة. ومع ذلك، رغم أهميته، فإن النموذج الأصلي Grounding-DINO يفتقر إلى التفاصيل التقنية الشاملة بسبب عدم توفر شفرة التدريب الخاصة به. لسد هذه الفجوة، نقدم MM-Grounding-DINO، وهو خط أساس مفتوح المصدر شامل ومريح للمستخدم يتم بناؤه باستخدام صندوق أدوات MMDetection. يتبنى هذا النموذج العديد من قواعد البيانات البصرية للتدريب الأولي ويستخدم قواعد بيانات مختلفة للكشف والتثبيت للتحسين الدقيق. نقدم تحليلًا شاملًا لكل نتيجة تم الإبلاغ عنها وأعداد مفصلة لإعادة إنتاجها. تظهر التجارب الواسعة التي أجريت على المعايير المذكورة أن نموذجنا MM-Grounding-DINO-Tiny يتفوق على الخط الأساسي Grounding-DINO-Tiny. نطلق جميع نماذجنا على المجتمع البحثي. يمكن الوصول إلى الشفرات والنماذج المدربة عبر الرابط:https://github.com/open-mmlab/mmdetection/tree/main/configs/mm_grounding_dino.