HyperAIHyperAI

Command Palette

Search for a command to run...

ChangeCLIP: كشف التغير في الاستشعار عن بعد باستخدام تعلم التمثيل البصري-اللغوي متعدد الوسائط

Xiaoliang Meng Bo Du Libo Wang Sijun Dong

الملخص

كشف التغيرات من خلال الاستشعار عن بعد (RSCD)، الذي يهدف إلى تحديد التغيرات السطحية من صور مزدوجة الزمن، يُعدّ ذا أهمية كبيرة في العديد من التطبيقات مثل حماية البيئة ومراقبة الكوارث. في العقد الماضي، دفعت موجة الذكاء الاصطناعي العديد من الأساليب الحديثة القائمة على التعلم العميق للكشف عن التغيرات، والتي حققت تقدمًا جوهريًا. ومع ذلك، فإن هذه الأساليب تركز بشكل أكبر على تعلم التمثيل البصري، بينما تتجاهل الإمكانات الكامنة في البيانات متعددة الوسائط. في الآونة الأخيرة، قدّمت النماذج الأساسية البصرية-اللغوية، مثل CLIP، نموذجًا جديدًا للذكاء الاصطناعي متعدد الوسائط، وأظهرت أداءً مبهرًا في المهام التطبيقية اللاحقة. بالانسجام مع هذا الاتجاه، قمنا في هذه الدراسة بتمثيل إطار عمل جديد يُدعى ChangeCLIP، يستفيد من المعلومات الدلالية القوية المستمدة من أزواج الصورة-النص، وتم تصميمه خصيصًا للكشف عن التغيرات في الاستشعار عن بعد (RSCD). وبشكل محدد، أعدنا بناء النموذج الأصلي CLIP لاستخراج السمات المزدوجة الزمنية، واقترحنا وحدة جديدة لتعويض السمات التفاضلية لالتقاط التغيرات الدلالية الدقيقة بين الصور. بالإضافة إلى ذلك، طرحنا مُفكّكًا يُدار بالذكاء البصري-اللغوي من خلال دمج نتائج الترميز الصوتي-اللغوي مع السمات البصرية في مرحلة التفكيك، مما يعزز من الدلالة البصرية للصورة. وقد حقق ChangeCLIP أداءً متفوقًا على مستوى الحالة الحالية (state-of-the-art) من حيث معامل IoU على خمسة مجموعات بيانات معروفة للكشف عن التغيرات: LEVIR-CD (85.20%)، LEVIR-CD+ (75.63%)، WHUCD (90.15%)، CDD (95.87%)، وSYSU-CD (71.41%). وسيكون الكود والنماذج المُدرّبة مسبقًا لـ ChangeCLIP متاحين للجمهور عبر الرابط: https://github.com/dyzy41/ChangeCLIP.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp