الاستدلال على العلاقات الدلالية للكشف عن الأشياء بقليل من الصور مع الاستقرار في اللقطات

الكشف عن الأشياء بقليل من العينات هو مشكلة حاسمة ومستمرة بسبب التوزيع ذي الذيل الطويل المتأصل في بيانات العالم الحقيقي. أداؤه يتأثر بشكل كبير بندرة البيانات للتصنيفات الجديدة. ومع ذلك، فإن العلاقة الدلالية بين التصنيفات الجديدة والتصنيفات الأساسية ثابتة بغض النظر عن توفر البيانات. في هذا العمل، ندرس استخدام هذه العلاقة الدلالية مع المعلومات البصرية ونقدم تحليلًا صريحًا للعلاقة في تعلم الكشف عن الأشياء الجديدة. تحديدًا، نمثل مفهوم كل تصنيف بواسطة غرز دلالي تم تعلمه من مكتبة كبيرة من النصوص. يتم تدريب الكاشف على إسقاط تمثيلات الصور للأجسام في هذا الفضاء الغرزي. كما نحدد مشكلات استخدام الغرز الخام مع رسم بياني للمعرفة الاسترشادي، ونقترح تعزيز الغرز باستخدام رسم بياني للعلاقة الديناميكي. نتيجة لذلك، يكون كاشفنا ذو القليل من العينات، الذي نطلق عليه SRR-FSD (Sparse Relation Reasoning Few-Shot Detector)، قويًا ومستقرًا أمام التغيرات في عدد العينات للأشياء الجديدة. تظهر التجارب أن SRR-FSD يمكنه تحقيق نتائج تنافسية عند زيادة عدد العينات، وأهم من ذلك، أداءً أفضل بكثير عند انخفاض عدد العينات الصريحة والضمنية. يمكن أن يخدم بروتوكول المعيار مع إزالة العينات الضمنية من مجموعة البيانات المصنفة مسبقًا كإعداد أكثر واقعية للأبحاث المستقبلية.