HyperAIHyperAI

Command Palette

Search for a command to run...

SIA-OVD: مكيف ثابت الشكل لجسر الفجوة بين الصورة والمنطقة في الكشف عن المفردات المفتوحة

الملخص

الكشف عن المفردات المفتوحة (OVD) يهدف إلى اكتشاف الأشياء الجديدة دون الحاجة إلى تسميات على مستوى الحالة لتحقيق الكشف عن الأشياء في العالم المفتوح بتكلفة أقل. تعتمد الطرق الحالية للOVD بشكل أساسي على قدرة النماذج المشتركة بين الرؤية واللغة (VLM) مثل CLIP على مواءمة الصور والنصوص بمفردات مفتوحة. ومع ذلك، يتم تدريب CLIP على أزواج الصور والنصوص وتفتقر إلى القدرة الإدراكية للمناطق المحلية داخل الصورة، مما يؤدي إلى وجود فجوة بين تمثيلات الصورة والمنطقة. استخدام CLIP مباشرة للOVD يؤدي إلى تصنيف غير دقيق للمناطق. نجد أن الفجوة بين الصورة والمنطقة تعود أساسًا إلى تشوه خرائط ميزات المنطقة أثناء استخراج منطقة الاهتمام (RoI). لحل مشكلة التصنيف غير الدقيق في OVD، نقترح مكيفًا جديدًا ثابت الشكل يُسمى SIA-OVD لتقريب الفجوة بين الصورة والمنطقة في مهمة OVD. يقوم SIA-OVD بتعلم مجموعة من المكيفات لميزات المناطق ذات الأشكال المختلفة وتصميم آلية جديدة لتخصيص المكيف الأنسب لكل منطقة. يمكن أن تتماشى التمثيلات المتكيفة للمناطق بشكل أفضل مع التمثيلات النصية التي تعلمها CLIP. أثبتت التجارب الواسعة أن SIA-OVD يحسن بشكل فعال دقة تصنيف المناطق من خلال معالجة الفجوة بين الصور والمناطق الناجمة عن تشوه الأشكال. حقق SIA-OVD تحسينات كبيرة على الطرق المعروفة في معيار COCO-OVD. يمكن الحصول على الكود من الرابط https://github.com/PKU-ICST-MIPL/SIA-OVD_ACMMM2024.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
SIA-OVD: مكيف ثابت الشكل لجسر الفجوة بين الصورة والمنطقة في الكشف عن المفردات المفتوحة | مستندات | HyperAI