X-Paste: إعادة النظر في تقنية النسخ واللصق القابلة للتوسع للفهم التمثيلي للInstances باستخدام CLIP وStableDiffusion

يُعدّ نسخ-لصق (Copy-Paste) استراتيجية فعّالة ومبسطة لتعزيز البيانات في مهام التجزئة الحقيقية (instance segmentation). من خلال لصق عشوائي لInstances الكائنات على صور خلفية جديدة، يُولّد هذا الأسلوب بيانات تدريب جديدة مجانًا، ويعزز بشكل كبير أداء التجزئة، خاصةً بالنسبة لفئات الكائنات النادرة. وعلى الرغم من أن استخدام Instances كائنات متنوعة وعالية الجودة يؤدي إلى تحسينات أداء أكبر، فإن الدراسات السابقة اعتمدت في ذلك على كائنات مشتقة من مجموعات بيانات مُصنّفة يدويًا أو من نماذج ثلاثية الأبعاد مُرسَّمة، وتكاليف كلا النهجين مرتفعة جدًا، ما يجعلهما غير عمليين من حيث التوسع لتحقيق تنوع جيد. في هذه الورقة، نعيد النظر في استراتيجية نسخ-لصق على نطاق واسع باستخدام قوة النماذج الحديثة للتمييز بدون تدريب مسبق (مثل CLIP) والنماذج التي تحوّل النصوص إلى صور (مثل StableDiffusion). نُظهر لأول مرة أن استخدام نموذج تحويل النص إلى صورة لتوليد صور أو استخدام نموذج تمييز بدون تدريب لتصفية صور مُستخرَجة بضوءٍ غير دقيق لفئات كائنات مختلفة، يُعدّ طريقة ممكنة لجعل نسخ-لصق قابلاً للتوسع فعليًا. ولتحقيق هذا النجاح، قمنا بتصميم إطار عمل لجمع البيانات ومعالجتها، يُدعى "X-Paste"، على أساسه أجرينا دراسة منهجية. وعلى مجموعة بيانات LVIS، أظهر X-Paste تحسينات ملحوظة مقارنةً بالأساس القوي CenterNet2 باستخدام المعمارية Swin-L. وبشكل دقيق، حقق +2.6 نقطة في مقياس AP للإطارات (box AP) و+2.1 نقطة في مقياس AP للتمييز (mask AP) على جميع الفئات، وتحسنات أكثر بروزًا بـ +6.8 نقطة في box AP و+6.5 نقطة في mask AP على الفئات ذات التوزيع الطويل الذيل (long-tail). تتوفر كودنا والنماذج التي استخدمناها على الرابط: https://github.com/yoctta/XPaste.