تعزيز اكتشاف الأشياء الجديدة من خلال النماذج الأساسية التعاونية

في هذا العمل، نتناول المشكلة الصعبة والناشئة للكشف عن الأشياء الجديدة (NOD)، مع التركيز على الكشف الدقيق عن فئات الأشياء المعروفة والجديدة أثناء الاستدلال. تعتبر خوارزميات الكشف التقليدية عن الأشياء مغلقة بطبيعتها، مما يحد من قدرتها على التعامل مع NOD. نقدم منهجًا جديدًا لتحويل المكتشفات المغلقة الموجودة إلى مكتشفات مفتوحة. يتم تحقيق هذه التحويلة من خلال الاستفادة من القوى المكملة للنماذج الأساسية المدربة مسبقًا، وتحديداً CLIP وSAM، عبر آلية تعاونية لدينا. علاوة على ذلك، من خلال دمج هذه الآلية مع أحدث المكتشفات المفتوحة مثل GDINO، نقوم بإنشاء مقاييس جديدة في أداء الكشف عن الأشياء. يحقق طريقنا معدل دقة 17.42 mAP في الكشف عن الأشياء الجديدة ومعدل دقة 42.08 mAP للأشياء المعروفة في مجموعة بيانات LVIS الصعبة. عند تكييف طريقتنا لمجموعة بيانات COCO OVD، نتفوق على الحالة الراهنة لأحدث التقنيات بمقدار 7.2 $ \text{AP}_{50} $ للفئات الجديدة. يمكن الوصول إلى شفرتنا البرمجية عبر الرابط: https://rohit901.github.io/coop-foundation-models/ .