MIANet: تجميع المثيلات غير المتحيزة والمعلومات العامة للفهم الدلالي القائم على عدد قليل من الأمثلة

تُعتمد الطرق الحالية للفصل القائم على عدد قليل من الأمثلة على استراتيجية التعلم التجريبي، حيث يتم استخراج معرفة حول الكيانات من مجموعة الدعم، ثم تطبيق هذه المعرفة لفصل الكائنات المستهدفة في مجموعة الاستعلام. ومع ذلك، تكون المعرفة المستخرجة غير كافية للتعامل مع التباينات الداخلية داخل الفئة، نظرًا لأن هذه المعرفة تستمد من عدد قليل من العينات في مجموعة الدعم. ولحل هذه المشكلة، نقترح شبكة تجميع معلومات متعددة (MIANet) تُستخدم بشكل فعّال المعرفة العامة، أي تضمينات المعاني الكلامية، والمعلومات الخاصة بالكيانات لتحقيق فصل دقيق. بشكل خاص، في MIANet، نقترح وحدة معلومات عامة (GIM) لاستخراج نموذج فئة عام من تضمينات الكلمات كمكمل للمعلومات الخاصة بالكيانات. ولتحقيق ذلك، نصمم خسارة ثلاثية (triplet loss) تُعامل النموذج الفئوي العام كمرجع، وتُستخدم أزواج موجبة وسلبية مستمدة من السمات المحلية في مجموعة الدعم. يمكن للخسارة الثلاثية المحسوبة نقل التشابه المعاني بين الهويات اللغوية من فضاء تضمينات الكلمات إلى فضاء التمثيل البصري. ولتخفيف التحيّز الذي قد يصيب النموذج تجاه الفئات المرئية في بيانات التدريب، ولتحقيق معلومات متعددة المقاييس، نُدخل بعد ذلك وحدة سابقة هرمية غير معاملية (HPM) لتوليد معلومات على مستوى الكيانات دون تحيّز من خلال حساب التشابه على مستوى البكسل بين سمات الصورة في مجموعة الدعم والاستعلام. وأخيرًا، تُدمج وحدة دمج المعلومات (IFM) بين المعلومات العامة والمعلومات الخاصة بالكيانات لاتخاذ التنبؤات بالنسبة لصورة الاستعلام. أظهرت التجارب الواسعة على مجموعتي PASCAL-5i وCOCO-20i أداءً متفوقًا لـ MIANet، وحققت حالة جديدة من أفضل الأداء (state-of-the-art). يمكن الوصول إلى الكود عبر الرابط: https://github.com/Aldrich2y/MIANet.