استكشاف طريقة دقيقة على مستوى متعدد المقياسات لاسترجاع الصور المستشعرة عن بعد عبر الوسائط المختلفة

تمثل استشعار عن بعد (RS) عبر وسائط متعددة لاسترجاع النص والصورة اهتمامًا واسعًا بفضل مزايا الإدخال المرنة والاستعلام الفعّال. ومع ذلك، تتجاهل الطرق التقليدية الخصائص المميزة للهدف متعدد المقياس والتكرار في صور الاستشعار عن بعد، مما يؤدي إلى تدهور دقة الاسترجاع. ولمعالجة مشكلة ندرة المقياس المتعدد وتكرار الأهداف في مهمة الاسترجاع متعدد الوسائط في الاستشعار عن بعد، نقترح شبكة جديدة لتناسب الميزات متعددة الوسائط غير المتماثلة (AMFMN). تعتمد نموذجنا على مدخلات ميزات متعددة المقياس، وتدعم طرق الاسترجاع متعددة المصادر، ويمكنها أيضًا تصفية ميزات مكررة ديناميكيًا. يستخدم AMFMN وحدة الانتباه الذاتي البصري متعددة المقياس (MVSA) لاستخراج الميزات البارزة في صور الاستشعار عن بعد، ويستخدم الميزات البصرية لتوجيه تمثيل النص. علاوةً على ذلك، لمعالجة اللبس الناتج عن التشابه القوي بين الفئات في صور الاستشعار عن بعد، نقترح دالة خسارة ثلاثية (triplet loss) ذات حد ديناميكي مبني على التشابه السابق لزوج العينات. وأخيرًا، بخلاف المجموعات التقليدية لصور الاستشعار عن بعد والنصوص التي تتميز بوصف نصي خشن وتشابه داخلي عالٍ بين الفئات، نقوم ببناء مجموعة بيانات جديدة ذات تفاصيل دقيقة وأكثر تحديًا تُسمى "مجموعة بيانات تطابق صور الاستشعار عن بعد والنصوص" (RSITMD)، التي تدعم استرجاع صور الاستشعار عن بعد باستخدام كلمات مفتاحية أو جملة بشكل منفصل أو مشترك. وأظهرت التجارب على أربع مجموعات بيانات لصور الاستشعار عن بعد والنصوص أن النموذج المقترح يمكنه تحقيق أداءً رائدًا في مهام استرجاع النص والصورة عبر الوسائط في مجال الاستشعار عن بعد.