تعلم اكتشاف وكشف الأشياء

نواجه مشكلة اكتشاف وتتبع فئات جديدة (NCDL). في هذا الإعداد، نفترض وجود مجموعة بيانات مصدرية تحتوي على إشراف لبعض فئات الأشياء فقط. يتطلب الأمر اكتشاف وتصنيف وتتبع حالات الفئات الأخرى تلقائيًا بناءً على التشابه البصري دون أي إشراف بشري. لمعالجة NCDL، نقترح شبكة كشف أشياء ذات مرحلتين تُعرف بـ Region-based NCDL (RNCDL)، والتي تستخدم شبكة اقتراح المناطق لتحديد مناطق الاهتمام (RoIs). بعد ذلك، ندرب شبكتنا على التعلم لكيفية تصنيف كل RoI، سواء كانت واحدة من الفئات المعروفة الموجودة في مجموعة البيانات المصدرية أو واحدة من الفئات الجديدة، مع فرض قيد توزيع ذيل طويل على تعيين الفئات، مما يعكس التكرار الطبيعي للفئات في العالم الحقيقي. عن طريق تدريب شبكتنا الكاشفة بهذا الهدف بطريقة شاملة من النهاية إلى النهاية، فإنها تتعلم كيفية تصنيف جميع اقتراحات المناطق لمجموعة متنوعة كبيرة من الفئات، بما في ذلك تلك التي ليست جزءًا من مفردات فئات الأشياء الموسومة. أظهرت التجارب التي أجريت باستخدام مجموعتي بيانات COCO وLVIS أن طريقة عملنا أكثر فعالية بكثير من الأنابيب متعددة المراحل التي تعتمد على خوارزميات التجميع التقليدية. علاوة على ذلك، نثبت عمومية نهجنا بتطبيق طريقة عملنا على مجموعة بيانات Visual Genome الضخمة الحجم، حيث تمكنت شبكتنا بنجاح من التعلم لكيفية الكشف عن مختلف الفئات الدلالية دون إشراف مباشر.