HyperAIHyperAI

Command Palette

Search for a command to run...

الانتشار الثنائي الاتجاه للميزات عبر الوسائط مع بوابة الفصل والتدوير للتحليل الدلالي RGB-D

Xiaokang Chen Kwan-Yee Lin Jingbo Wang Wayne Wu Chen Qian Hongsheng Li Gang Zeng

الملخص

أثبتت المعلومات العميقة كمؤشر مفيد في التصنيف الدلالي للصور RGB-D من خلال توفير مقابل هندسي للتمثيل RGB. وغالبًا ما تفترض الدراسات الحالية أن قياسات العمق دقيقة وموافقة تمامًا مع بكسلات RGB، وتُعامل المشكلة كدمج ميزات عبر الوسائط بهدف الحصول على تمثيلات ميزات أفضل لتحقيق تصنيف أكثر دقة. لكن هذا النهج قد لا يؤدي إلى نتائج مرضية، حيث إن بيانات العمق الفعلية غالبًا ما تكون مشوّشة، مما قد يُضعف الدقة مع تعمق الشبكة.في هذه الورقة، نقترح مُشغّلًا موحدًا وفعالًا عبر الوسائط (Cross-modality Guided Encoder) قادرًا على إعادة ضبط استجابات ميزات RGB بشكل فعّال، بالإضافة إلى استخلاص معلومات عمق دقيقة عبر مراحل متعددة، وجمع التمثيلين المُعاد ضبطهما بشكل متناوب. وتشكل العمليّة الجديدة المُسمّاة "الانفصال والجمع التوجيهي" (Separation-and-Aggregation Gating) العمود الفقري للهيكل المقترح، حيث تقوم بتصفية وإعادة ضبط كلا التمثيلين معًا قبل عملية الدمج عبر الوسائط. وفي الوقت نفسه، نقدّم استراتيجية تفاعل ثنائي الاتجاه متعددة الخطوات (Bi-direction Multi-step Propagation)، والتي تساعد في نقل ودمج المعلومات بين الوسائط من جهة، وتحافظ على خصوصية كل وسائط خلال عملية الانتشار الطويلة من جهة أخرى. علاوة على ذلك، يمكن دمج المشغل المقترح بسهولة في الهياكل السابقة من نوع المشغل-النافذة (encoder-decoder) لتعزيز أدائها في التصنيف الدلالي للصور RGB-D. وتفوق نموذجنا النماذج الحالية في جميع البيانات المُحَدَّدة الصعبة، سواء داخل الأماكن أو خارجها. يُمكن الوصول إلى الشيفرة المصدرية لهذا العمل عبر الرابط: https://charlescxk.github.io/


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp