HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

تعلم الانتباه الذاتي المتبادل المُختَارة للكشف عن الاهتمام في الصور الملونة ذات الأبعاد (RGB-D)

{ Junwei Han Ni Zhang Nian Liu}

تعلم الانتباه الذاتي المتبادل المُختَارة للكشف عن الاهتمام في الصور الملونة ذات الأبعاد (RGB-D)

الملخص

يُلقى اهتمام متزايد مؤخرًا على كشف الانتباه في الصور من نوع RGB-D. اعتمدت النماذج السابقة على نمط الدمج المبكر أو دمج النتائج لدمج بيانات RGB والعمق المدخلة أو خرائط الانتباه الخاصة بها، مما يُسبب مشكلة الفجوة في التوزيع أو فقدان المعلومات. أما بعض النماذج الأخرى فقد استخدمت نمط دمج الميزات، لكنها كانت محدودة بطرق دمج الميزات الخطية. في هذا البحث، نقترح دمج الانتباه المُتعلم في كلا الموداليتين. مستوحى من نموذج Non-local، ندمج انتباه الذات وانتباه كل منهما على الآخر لنقل الاعتماديات السياقية على مدى طويل، وبالتالي دمج المعلومات متعددة الموداليات لتعلم الانتباه ونقل السياقات بدقة أكبر. وبما أن انتباه المودالية الأخرى يُعد موثوقًا، نقترح كذلك نموذج انتباه اختياري لوزن الحدث الانتباهي الجديد المُضاف. ونُدمج الوحدة الانتباهية المقترحة في شبكة عصبية تلافيفية ثنائية التدفق (two-stream CNN) للكشف عن الانتباه في الصور من نوع RGB-D. علاوةً على ذلك، نقترح وحدة دمج متبقية (residual fusion module) لدمج ميزات فك التشفير الخاصة بالعمق في التدفق الخاص بـ RGB. وأظهرت النتائج التجريبية على سبعة مجموعات بيانات معيارية فعالية المكونات المقترحة، بالإضافة إلى النموذج النهائي للكشف عن الانتباه. يمكن الاطلاع على الكود والخرائط الناتجة عن الكشف عن الانتباه عبر الرابط: https://github.com/nnizhang/S2MA.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
rgb-d-salient-object-detection-on-nju2kS2MA
Average MAE: 0.053
S-Measure: 89.4
max E-Measure: 92.7
max F-Measure: 88.9

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp