التكديس المزدوج القابل للتشوه لمصفوفات التباين للتقسيم بعينات قليلة

يُعد تدريب نماذج التجزئة الدلالية باستخدام عينات مُعلّمة قليلة واعدًا جدًا في تطبيقات عالمية حقيقية. أما التحدي الرئيسي في مهمة التجزئة بعينات قليلة (few-shot segmentation) فهو كيفية قياس العلاقة الدلالية الدقيقة بين العينات الداعمة (support) والعينات الاستقصائية (query) مع توفر بيانات تدريب محدودة. ولحل هذه المشكلة، نقترح تجميع مصفوفات التباين القابلة للتعلم باستخدام محول أربعة أبعاد قابل للتشويه (deformable 4D Transformer) لتنبؤ خريطة التجزئة بشكل فعّال. وبشكل محدد، نقوم أولًا في هذه الدراسة بتصميم آلية جديدة لاستخراج الأمثلة الصعبة (hard example mining) لتعلم نوى التباين (covariance kernels) الخاصة بعملية غاوسيان (Gaussian process). وتمتلك النوى التباينية المُتعلّمة مزايا كبيرة مقارنة بالأساليب القائمة على التشابه الجيبي (cosine similarity) في قياس العلاقة الدلالية. وباستنادًا إلى هذه النوى التباينية المُتعلّمة، نصمم وحدة محول أربعة أبعاد مزدوجة القابلية للتشويه (doubly deformable 4D Transformer) بكفاءة، لدمج خرائط تشابه الميزات تلقائيًا وتحويلها إلى نتائج التجزئة. وبدمج هذين التصميمين، يمكن للطريقة المقترحة تحقيق أداءً مُتفوّقًا على أحدث النماذج المُعلنة في المعايير العامة، كما أنها تتحوّل بشكل أسرع بكثير من الطرق السابقة. وقد أظهرت التجارب على ثلاث مجموعات بيانات عامة فعالية طريقة التصميم المقترح.