HyperAIHyperAI

Command Palette

Search for a command to run...

SemAttNet: نحو إكمال العمق الموجه بالوعي بالسياق القائم على الانتباه

Danish Nazir Marcus Liwicki Didier Stricker Muhammad Zeshan Afzal

الملخص

تتمثل مهمة استكمال العمق في استعادة خريطة عمق كثيفة من خريطة عمق نادرة وصورة RGB. تركز الطرق الحديثة على استخدام الصور اللونية كصور توجيهية لاستعادة العمق عند النقاط غير الصالحة. ومع ذلك، فإن الصور اللونية وحدها ليست كافية لتوفير الفهم الشماعي الضروري للمنظر. ونتيجة لذلك، تعاني مهمة استكمال العمق من التغيرات المفاجئة في الإضاءة في الصور RGB (مثل الظلال). في هذا البحث، نقترح هيكلًا ثلاثي الفروع جديدًا يتكون من فروع موجهة بالألوان، وموجهة بالمعنى، وموجهة بالعمق. وبشكل خاص، يأخذ الفرع الموجه بالألوان خريطة عمق نادرة وصورة RGB كمدخلات ويُنتج خريطة عمق لونيّة تحتوي على مؤشرات لونية (مثل حدود الكائنات) للمنظر. ثم تُقدَّم خريطة العمق الكثيفة المُقدَّرة من الفرع الموجه بالألوان مع الصورة المعنوية وخارطة العمق النادرة كمدخلات للفرع الموجه بالمعنى لتقدير خريطة عمق معنوية. أما الفرع الموجه بالعمق، فيأخذ خرائط العمق النادرة واللونية والمعنوية لإنتاج خريطة عمق كثيفة. وتفُقَّد خرائط العمق اللونيّة، والمعنوية، والمضمونة بشكل تكيفي لإنتاج الناتج الخاص بالهيكل الثلاثي الفروع المُقترح. بالإضافة إلى ذلك، نقترح تطبيق كتلة دمج متعددة الوسائط قائمة على الانتباه المُدرك للمعنى (SAMMAFB) لدمج الميزات بين جميع الفروع الثلاثة. ونستخدم أيضًا CSPN++ مع التحويلات المُتعددة (Atrous convolutions) لتحسين خريطة العمق الكثيفة الناتجة عن الهيكل الثلاثي الفروع. وأظهرت التجارب الواسعة أداءً متميزًا على مستوى الحد الأقصى في معيار استكمال العمق KITTI عند وقت التقديم.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp