HyperAIHyperAI

Command Palette

Search for a command to run...

استرجاع نصي-صوري متعدد الأوضاع في الاستشعار عن بعد بناءً على معلومات عالمية ومحليّة

Zhiqiang Yuan Wenkai Zhang Changyuan Tian Xuee Rong Zhengyuan Zhang Hongqi Wang Kun Fu Xian Sun

الملخص

أصبح استرجاع الصور والنصوص من الاستشعار عن بعد عبر الوسائط المختلفة (RSCTIR) موضوعًا بحثيًا عاجلًا في الآونة الأخيرة، نظرًا لقدرته على تمكين استخراج المعلومات بسرعة ومرونة من صور الاستشعار عن بعد (RS). ومع ذلك، تركز الطرق الحالية لـ RSCTIR بشكل رئيسي على الخصائص العالمية للصور، مما يؤدي إلى إهمال الخصائص المحلية التي تعكس علاقات الأهداف والملحوظية. في هذا المقال، نُقدِّم أولًا إطارًا جديدًا لـ RSCTIR يعتمد على المعلومات العالمية والمحليّة (GaLR)، ونصمم وحدة دمج ديناميكي للمعلومات متعددة المستويات (MIDF) لدمج الخصائص المختلفة على مختلف المستويات بشكل فعّال. تعتمد MIDF على المعلومات المحلية لتصحيح المعلومات العالمية، وتستفيد من المعلومات العالمية لتعويض المعلومات المحلية، وتُولِّد تمثيلًا بصريًا متميزًا من خلال الجمع الديناميكي بين النوعين. ولتخفيف الضغط الناتج عن الأهداف الزائدة على شبكة الت convolution الرسومية (GCN)، وتحسين تركيز النموذج على الكيانات البارزة أثناء نمذجة الخصائص المحلية، تم اقتراح مصفوفة تمثيل مُنظّفة ومصفوفة جوار مُعزّزة (DREA) لمساعدة GCN في إنتاج تمثيلات محلية أفضل. وتكمن قدرة DREA في التخلص من الخصائص الزائدة ذات التشابه العالي، وفي تعزيز الخصائص المحلية القوية من خلال تحسين ملامح الكيانات البارزة. وأخيرًا، للاستفادة الكاملة من المعلومات الموجودة في مصفوفة التشابه أثناء عملية الاسترجاع، قمنا بتطوير خوارزمية إعادة ترتيب متعددة المتغيرات قابلة للتركيب والتشغيل الفوري (MR). تعتمد هذه الخوارزمية على أقرب جيران k للنتائج المسترجعة لإجراء بحث عكسي، وتحسّن الأداء من خلال دمج مكونات متعددة من عملية الاسترجاع الثنائية الاتجاه. أظهرت التجارب الواسعة على مجموعات بيانات عامة أداءً متميزًا على مستوى الحد الأقصى في مجال RSCTIR، مما يؤكد فعالية إطار GaLR. تم إتاحة الشفرة البرمجية لطريقة GaLR، وخوارزمية MR، والملفات المرتبطة بها على منصة GitHub عبر الرابط التالي: https://github.com/xiaoyuan1996/GaLR.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp