المتحولات المكانية النادرة لتعلم القليل من الأمثلة

التعلم من بيانات محدودة يعد تحديًا بسبب ندرة البيانات التي تؤدي إلى تعميم ضعيف للنموذج المدرب. قد يؤدي التمثيل الكلاسيكي للمعلومات العالمية إلى فقدان المعلومات المحلية المفيدة. لقد عالجت العديد من طرق التعلم القليل الأطوال هذا التحدي مؤخرًا باستخدام الوصفيات العميقة وتعلم مقياس على مستوى البكسل. ومع ذلك، قد يؤدي استخدام الوصفيات العميقة كتمثيلات للخصائص إلى فقدان سياق الصورة. بالإضافة إلى ذلك، فإن معظم هذه الطرق تعالج كل فئة في مجموعة الدعم بشكل مستقل، مما لا يسمح باستخدام المعلومات التمييزية والتم베دينات الخاصة بالمهمة بشكل كافٍ. في هذا البحث، نقترح هندسة شبكة عصبية جديدة تعتمد على المتحولات (transformers) تُعرف باسم المتحولات الفضائية النادرة (Sparse Spatial Transformers - SSFormers)، والتي تكتشف الخصائص ذات الصلة بالمهمة وتقلل من الخصائص غير ذات الصلة بها. خاصًة، نقوم أولاً بتقسيم كل صورة إدخال إلى عدة قطع صورية بأحجام مختلفة للحصول على خصائص محلية كثيفة. تحتفظ هذه الخصائص بمعلومات السياق بينما تعبر عن المعلومات المحلية. ثم، يتم اقتراح طبقة المتحولات الفضائية النادرة لاكتشاف التوافق المكاني بين صورة الاستعلام ومجموعة الدعم الكاملة لاختيار القطع الصورية ذات الصلة بالمهمة وتقليل القطع الصورية غير ذات الصلة بها. وأخيرًا، نقترح استخدام وحدة مطابقة القطع الصورية لحساب المسافة بين تمثيلات الخصائص المحلية الكثيفة، وبالتالي تحديد الفئة التي تنتمي إليها صورة الاستعلام في مجموعة الدعم. أظهرت التجارب الواسعة على مقاييس شهيرة للتعلم القليل الأطوال تفوق طريقتنا على أفضل الأساليب الحالية. يمكن الوصول إلى رمز المصدر الخاص بنا عبر الرابط \url{https://github.com/chenhaoxing/ssformers}.