شبكة التفاعل الواعية بالسياق لتقسيم الدلالة في صور RGB-T

التفصيل الدلالي RGB-T هو تقنية أساسية لفهم مشاهد القيادة الذاتية. ومع ذلك، فإن استكشاف العلاقة التكميلية الفعالة بين الوسائط المختلفة لم يتم تنفيذه في التفاعل المعلوماتي بين المستويات المتعددة في طرق التفصيل الدلالي RGB-T الحالية. لمعالجة هذه المشكلة، تم اقتراح شبكة التفاعل الواعي بالسياق (CAINet) للتفصيل الدلالي RGB-T، والتي تبني فضاءً للتفاعل لاستخدام المهام المساعدة والسياق العالمي لتحقيق التعلم المنظم بشكل صريح. بصفة خاصة، نقترح وحدة الاستدلال التكميلي الواعي بالسياق (CACR) بهدف إنشاء العلاقة التكميلية بين ميزات الوسائط المتعددة مع السياق طويل الأمد في الأبعاد المكانية والقنوات. بالإضافة إلى ذلك، وفي ضوء أهمية السياق العالمي والمعلومات التفصيلية، نقترح وحدة نمذجة السياق العالمي (GCM) ووحدة تجميع التفاصيل (DA)، ونقدم إشرافًا مساعدًا محددًا لتنظيم التفاعل السياقي بشكل صريح وتكرار خريطة التقسيم. أظهرت التجارب الشاملة على قاعدتي بيانات معياريتين هما MFNet وPST900 أن الشبكة المقترحة CAINet حققت أداءً يتفوق على أفضل ما سبقه. يمكن الحصول على الكود من الرابط: https://github.com/YingLv1106/CAINet.