الاستخلاص المعرفي عبر الوسائط لتصنيف الكائنات في المنظور الجوي متعدد الوسائط

في حالة الطقس السيئ أو ظروف الإضاءة المنخفضة، قد لا تتمكن حساس واحد من جمع ما يكفي من المعلومات لتحديد الكائنات بدقة. مقارنةً بالصورة البصرية التقليدية، تمتلك صور الرادار ذات الفتحة المزيفة (SAR) مزايا أكبر، مثل القدرة على اختراق الضباب والدخان. ومع ذلك، تتميز صور SAR بحلقة منخفضة وتشوّش عالي المستوى ناتج عن ضوضاء الحبوب (speckle noise). ونتيجة لذلك، يصبح استخلاص ميزات قوية وموثوقة من صور SAR أمرًا بالغ الصعوبة. في هذه الورقة، استكشفنا ما إذا كانت التعددية في أنماط التصوير يمكن أن تُحسّن أداء كشف الكائنات. ولهذا، نقترح نموذجًا جديدًا يُسمى التعلم بالاعتماد المتبادل بين الوسائط (Cross Modality Knowledge Distillation - CMKD)، ونستعرض نوعين مختلفين من الهياكل الشبكية يُشار إليهما بـ CMKD-s و CMKD-m، وذلك لمهام تصنيف الكائنات. وبشكل خاص، يُحوّل نموذج CMKD-s المعلومات المُجمعة من الحسّاسين باستخدام تقنية التعلم بالاعتماد المتبادل المباشر (online knowledge distillation)، مما يُمكّن من مشاركة المعرفة بين الوسائط المختلفة ويُعزز من موثوقية نموذج تصنيف الكائنات من منظور جوي. علاوةً على ذلك، وباستخدام التدريب المُعزّز شبه المُراقب، قمنا بتطوير طريقة جديدة تُسمى CMKD-m، التي تُعزز نموذج التعلم من خلال تبادل المعرفة المتبادلة. ومن خلال المقارنة الكمية، وجدنا أن كلاً من CMKD-s و CMKD-m يتفوقان على الطريقة التي لا تعتمد على نقل المعرفة، على مجموعة بيانات تحدّي NTIRE2021 لصور SAR-EO.