HyperAIHyperAI
منذ 17 أيام

تقدير تدفق بصري متوازن عميق

Shaojie Bai, Zhengyang Geng, Yash Savani, J. Zico Kolter
تقدير تدفق بصري متوازن عميق
الملخص

تستخدم العديد من النماذج الحديثة ذات المستوى الرائد (SOTA) في تدفق الضوء عمليات تحديث تكرارية منتهية الخطوات لمحاكاة الخوارزميات التقليدية من خلال تشجيع التحسينات التكرارية نحو تقدير تدفق مستقر. ومع ذلك، فإن هذه الشبكات العصبية التكرارية (RNNs) تفرض أعباء كبيرة على الحوسبة والذاكرة، ولا يتم تدريبها مباشرةً لتمثيل هذا التقدير المستقر. وقد تؤدي إلى تقارب ضعيف، مما يسبب تدهورًا في الأداء. لمواجهة هذه العيوب، نقترح نماذج تقدير تدفق متوازن عميق (DEQ)، وهي طريقة تحل مباشرة لتقدير التدفق كنقطة ثابتة من الدرجة اللانهائية لطبقة ضمنية (باستخدام أي حلّال أسود)، مع التمييز عبر هذه النقطة الثابتة تحليليًا (مما يتطلب ذاكرة تدريب بحجم $O(1)$). لا تعتمد هذه الطريقة القائمة على العمق الضمني على نموذج محدد، وبالتالي يمكن تطبيقها على مجموعة واسعة من تصميمات النماذج الرائدة في تقدير التدفق. وباستخدام نماذج DEQ هذه، يمكننا حساب التدفق بشكل أسرع باستخدام تقنيات مثل إعادة استخدام النقاط الثابتة والمشتقات غير الدقيقة، مع استهلاك ذاكرة تدريب أقل بـ 4 إلى 6 أضعاف مقارنة بالنماذج التكرارية، وتحقيق نتائج أفضل ضمن نفس ميزانية الحوسبة. بالإضافة إلى ذلك، نقترح خطة تصحيح نقطية ثابتة جديدة ونادرة لاستقرار نماذج DEQ، وهي تحل حلًا لمشكلة قديمة تواجه نماذج DEQ بشكل عام. وقد قمنا باختبار منهجنا في سياقات واقعية متنوعة، وأظهرنا أنه يُحسّن الأداء في النماذج الرائدة على مجموعتي بيانات Sintel وKITTI، بفضل كفاءة حوسبية وذاكرة محسّنة بشكل كبير.

تقدير تدفق بصري متوازن عميق | أحدث الأوراق البحثية | HyperAI