HyperAIHyperAI

Command Palette

Search for a command to run...

CORA: تكيف CLIP للكشف عن المفردات المفتوحة باستخدام التحفيز الإقليمي وتطابق الأناكرا الأولي

Xiaoshi Wu Feng Zhu Rui Zhao Hongsheng Li

الملخص

الكشف عن المفردات المفتوحة (OVD) هو مهمة كشف الأشياء تهدف إلى اكتشاف الأشياء من فئات جديدة تتجاوز الفئات الأساسية التي تم تدريب الكاشف عليها. تعتمد طرق OVD الحديثة على نماذج مسبقة التدريب على نطاق واسع في مجال الرؤية واللغة، مثل CLIP، لتحديد الأشياء الجديدة. قدّمنا حلاً لهذه المشكلة من خلال تحديد العقبتين الأساسيتين اللتين يجب التعامل معهما عند دمج هذه النماذج في تدريب الكاشف: (1) عدم التطابق في التوزيع الذي يحدث عند تطبيق نموذج رؤية-لغة مدرب على صور كاملة للمهام التي تتطلب التعرف على المناطق؛ (2) صعوبة تحديد موقع الأشياء من الفئات غير المعروفة.للتغلب على هاتين العقبتين، نقترح نظام CORA، وهو إطار يشبه DETR يقوم بتكيف CLIP للكشف عن المفردات المفتوحة من خلال إثارة المناطق (Region prompting) ومطابقة النقاط المرجعية مسبقًا (Anchor pre-matching). تقوم إثارة المناطق بتعويض الفجوة بين التوزيع الكامل والتوزيع الإقليمي من خلال إثارة خصائص المناطق لنظام تصنيف المناطق القائم على CLIP. أما مطابقة النقاط المرجعية مسبقًا فتساعد في تعلم آليات تحديد الموقع القابلة للتعميم عبر آلية مطابقة واعية بالفئة.قدّمنا تقييمًا لنظام CORA باستخدام مقاييس COCO OVD، حيث حققنا 41.7 AP50 في الفئات الجديدة، مما يتفوق على أفضل النتائج السابقة بمقدار 2.4 AP50 حتى دون الحاجة إلى بيانات تدريب إضافية. عندما تكون هناك بيانات تدريب إضافية متاحة، نقوم بتدريب CORA+^++ باستخدام كل من شروح الفئات الأساسية الحقيقية والعلامات الحدودية الوهمية الإضافية التي يتم حسابها بواسطة CORA. حقق CORA+^++ 43.1 AP50 في مقاييس COCO OVD و28.1 box APr في مقاييس LVIS OVD.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp