SynthRef: إنشاء تعبيرات إشارة صناعية للفصل الكائنات

أحدث التطورات في التعلم العميق أتاحت تقدماً كبيراً في مهام التموضع البصري مثل التجزئة الموجهة باللغة لكائنات الفيديو. ومع ذلك، فإن جمع مجموعات بيانات كبيرة لهذه المهام يُعد مكلفاً من حيث وقت الترميز، وهو ما يُشكّل عقبة رئيسية. ولحل هذه المشكلة، نقترح طريقة جديدة تُسمى SynthRef لتصنيع عبارات إشارة اصطناعية للكائنات المستهدفة في صورة (أو إطار فيديو)، ونُقدّم أيضًا ونُوزّع أول مجموعة بيانات كبيرة بمقاييس عالمية تحتوي على عبارات إشارة اصطناعية مخصصة لتجزئة كائنات الفيديو. تُظهر تجاربنا أن التدريب باستخدام عبارات إشارة اصطناعية من طريقة SynthRef يمكن أن يُحسّن قدرة النموذج على التعميم عبر مجموعات بيانات مختلفة، دون أي تكلفة إضافية في الترميز. علاوةً على ذلك، يتيح نهجنا تطبيقه على أي مجموعة بيانات للكشف عن الكائنات أو التجزئة.