استرجاع نصي-صوري متعدد الأوضاع في الاستشعار عن بعد بناءً على معلومات عالمية ومحليّة

أصبح استرجاع الصور والنصوص من الاستشعار عن بعد عبر الوسائط المختلفة (RSCTIR) موضوعًا بحثيًا عاجلًا في الآونة الأخيرة، نظرًا لقدرته على تمكين استخراج المعلومات بسرعة ومرونة من صور الاستشعار عن بعد (RS). ومع ذلك، تركز الطرق الحالية لـ RSCTIR بشكل رئيسي على الخصائص العالمية للصور، مما يؤدي إلى إهمال الخصائص المحلية التي تعكس علاقات الأهداف والملحوظية. في هذا المقال، نُقدِّم أولًا إطارًا جديدًا لـ RSCTIR يعتمد على المعلومات العالمية والمحليّة (GaLR)، ونصمم وحدة دمج ديناميكي للمعلومات متعددة المستويات (MIDF) لدمج الخصائص المختلفة على مختلف المستويات بشكل فعّال. تعتمد MIDF على المعلومات المحلية لتصحيح المعلومات العالمية، وتستفيد من المعلومات العالمية لتعويض المعلومات المحلية، وتُولِّد تمثيلًا بصريًا متميزًا من خلال الجمع الديناميكي بين النوعين. ولتخفيف الضغط الناتج عن الأهداف الزائدة على شبكة الت convolution الرسومية (GCN)، وتحسين تركيز النموذج على الكيانات البارزة أثناء نمذجة الخصائص المحلية، تم اقتراح مصفوفة تمثيل مُنظّفة ومصفوفة جوار مُعزّزة (DREA) لمساعدة GCN في إنتاج تمثيلات محلية أفضل. وتكمن قدرة DREA في التخلص من الخصائص الزائدة ذات التشابه العالي، وفي تعزيز الخصائص المحلية القوية من خلال تحسين ملامح الكيانات البارزة. وأخيرًا، للاستفادة الكاملة من المعلومات الموجودة في مصفوفة التشابه أثناء عملية الاسترجاع، قمنا بتطوير خوارزمية إعادة ترتيب متعددة المتغيرات قابلة للتركيب والتشغيل الفوري (MR). تعتمد هذه الخوارزمية على أقرب جيران k للنتائج المسترجعة لإجراء بحث عكسي، وتحسّن الأداء من خلال دمج مكونات متعددة من عملية الاسترجاع الثنائية الاتجاه. أظهرت التجارب الواسعة على مجموعات بيانات عامة أداءً متميزًا على مستوى الحد الأقصى في مجال RSCTIR، مما يؤكد فعالية إطار GaLR. تم إتاحة الشفرة البرمجية لطريقة GaLR، وخوارزمية MR، والملفات المرتبطة بها على منصة GitHub عبر الرابط التالي: https://github.com/xiaoyuan1996/GaLR.