HyperAIHyperAI

Command Palette

Search for a command to run...

استخدام نماذج أساس الرؤية لتحقيق تقسيم مفردات مفتوحة عالي الأداء بدون تدريب

Yuheng Shi Minjing Dong Chang Xu

الملخص

بينما أدى التدريب المقارن للغة والصورة (CLIP) إلى تقدم في التوقعات ذات المفردات المفتوحة، فإن أدائه في تقسيم الصور إلى مكوناتها الدلالية لا يزال دون المستوى الأمثل. يعود هذا النقص بشكل أساسي إلى خصائصه الدلالية الثابتة مكانياً ودقة صوره المحدودة. بينما عالجت التكيفات السابقة مشكلة الثبات المكاني الدلالي من خلال تعديل الانتباه الذاتي في مُشفر الصور الخاص بـ CLIP، ظلت مشكلة الدقة المحدودة غير مستكشفة.على عكس طرق التقسيم ثم اللصق السابقة التي تقوم بتقسيم الصور الفرعية عبر نافذة منزلقة ولصق النتائج، نقدم نموذج اللصق ثم التقسيم الذي يدمج نموذج تقسيم أي شيء (SAM) لمعالجة مشكلة الدقة، حيث يتميز SAM بقدرته على استخراج الارتباطات الدلالية الدقيقة من الصور عالية الدقة. تحديداً، نقدم نظام Trident، وهو إطار عمل لا يتطلب تدريباً يقوم أولاً بلصق الخصائص المستخرجة بواسطة CLIP و DINO من الصور الفرعية، ثم يستفيد من مُشفر SAM لإنشاء مصفوفة ارتباط للجمع العالمي، مما يتيح مجالاً استقباليًا أوسع لتحقيق تقسيم فعال. بالإضافة إلى ذلك، نقترح استراتيجية تحسين لنتائج التقسيم الخشنة الخاصة بـ CLIP عن طريق تحويلها إلى دوافع لـ SAM، مما يعزز أداء التقسيم بشكل أكبر.يحقق Trident تحسينًا كبيرًا في المتوسط الحسابي لمقياس IoU عبر ثمانية مقاييس مقارنة بأفضل الأداء الحالي (SOTA)، حيث يرتفع من 44.4 إلى 48.6. يمكن الوصول إلى الكود عبر الرابط: https://github.com/YuHengsss/Trident.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp