استغلال التوافق الزمني لتقدير العمق في الفيديو في الوقت الحقيقي

تم تحسين دقة تقدير العمق من الصور الثابتة بشكل كبير مؤخرًا، من خلال استغلال الخصائص الهرمية من شبكات العصبونات التلافيفية العميقة (CNNs). بالمقارنة مع الصور الثابتة، يوجد معلومات واسعة بين إطارات الفيديو يمكن استغلالها لتحسين أداء تقدير العمق. في هذا العمل، نركز على استكشاف المعلومات الزمنية من الفيديوهات الأحادية البؤرة لتقدير العمق. تحديدًا، نستفيد من ذاكرة الشبكة التلافيفية طويلة المدى قصيرة المدى (CLSTM) ونقترح بنية فراغية-زمنية جديدة للشبكة التلافيفية طويلة المدى قصيرة المدى (ST-CLSTM). يمكن لبنيتنا ST-CLSTM أن تستخلص ليس فقط الخصائص الفراغية ولكن أيضًا العلاقات/الثبات الزمني بين الإطارات المتتالية للفيديو مع زيادة طفيفة في التكلفة الحسابية. بالإضافة إلى ذلك، للحفاظ على الثبات الزمني بين الإطارات المقدرة للعمق، نطبق مخطط التعلم المعادي الجيني ونصمم خسارة ثبات زمني. يتم دمج خسارة الثبات الزمني مع الخسارة الفراغية لتحديث النموذج بطريقة شاملة من البداية إلى النهاية. بفضل الاستفادة من المعلومات الزمنية، نقوم ببناء إطار عمل لتقدير عمق الفيديو يعمل في الوقت الحقيقي ويولد نتائج مرئية جذابة. علاوة على ذلك، فإن طريقتنا مرنة ويمكن تعميمها على معظم الإطارات الموجودة لتقدير العمق. الرمز متاح على: https://tinyurl.com/STCLSTM