HyperAIHyperAI

Command Palette

Search for a command to run...

X-Paste: إعادة النظر في تقنية النسخ واللصق القابلة للتوسع للفهم التمثيلي للInstances باستخدام CLIP وStableDiffusion

الملخص

يُعدّ نسخ-لصق (Copy-Paste) استراتيجية فعّالة ومبسطة لتعزيز البيانات في مهام التجزئة الحقيقية (instance segmentation). من خلال لصق عشوائي لInstances الكائنات على صور خلفية جديدة، يُولّد هذا الأسلوب بيانات تدريب جديدة مجانًا، ويعزز بشكل كبير أداء التجزئة، خاصةً بالنسبة لفئات الكائنات النادرة. وعلى الرغم من أن استخدام Instances كائنات متنوعة وعالية الجودة يؤدي إلى تحسينات أداء أكبر، فإن الدراسات السابقة اعتمدت في ذلك على كائنات مشتقة من مجموعات بيانات مُصنّفة يدويًا أو من نماذج ثلاثية الأبعاد مُرسَّمة، وتكاليف كلا النهجين مرتفعة جدًا، ما يجعلهما غير عمليين من حيث التوسع لتحقيق تنوع جيد. في هذه الورقة، نعيد النظر في استراتيجية نسخ-لصق على نطاق واسع باستخدام قوة النماذج الحديثة للتمييز بدون تدريب مسبق (مثل CLIP) والنماذج التي تحوّل النصوص إلى صور (مثل StableDiffusion). نُظهر لأول مرة أن استخدام نموذج تحويل النص إلى صورة لتوليد صور أو استخدام نموذج تمييز بدون تدريب لتصفية صور مُستخرَجة بضوءٍ غير دقيق لفئات كائنات مختلفة، يُعدّ طريقة ممكنة لجعل نسخ-لصق قابلاً للتوسع فعليًا. ولتحقيق هذا النجاح، قمنا بتصميم إطار عمل لجمع البيانات ومعالجتها، يُدعى "X-Paste"، على أساسه أجرينا دراسة منهجية. وعلى مجموعة بيانات LVIS، أظهر X-Paste تحسينات ملحوظة مقارنةً بالأساس القوي CenterNet2 باستخدام المعمارية Swin-L. وبشكل دقيق، حقق +2.6 نقطة في مقياس AP للإطارات (box AP) و+2.1 نقطة في مقياس AP للتمييز (mask AP) على جميع الفئات، وتحسنات أكثر بروزًا بـ +6.8 نقطة في box AP و+6.5 نقطة في mask AP على الفئات ذات التوزيع الطويل الذيل (long-tail). تتوفر كودنا والنماذج التي استخدمناها على الرابط: https://github.com/yoctta/XPaste.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp