GMFlow: تعلّم التدفق البصري من خلال المطابقة الشاملة

تم تبني نموذج تقدير تدفق الضوء القائم على التعلم عبر مسار حجم التكلفة مع التحويلات العصبية لتقدير التدفق، والذي يعاني بشكل جوهري من قيود الترابطات المحلية، مما يجعله صعب التغلب على التحدي الطويل الأمد المتمثل في الانزلاقات الكبيرة. وللتخفيف من هذه المشكلة، يُحسّن الإطار الحديث RAFT جودة تنبؤاته تدريجيًا من خلال عدد كبير من التحسينات المتكررة، مما يحقق أداءً متميزًا ولكن بزيادة خطية في زمن الاستدلال. ولتمكين الدقة العالية والكفاءة معًا، نعيد صياغة المسار المهيمن لتقدير التدفق بالكامل من خلال إعادة صياغة تدفق الضوء كمشكلة تطابق عالمية، حيث يتم تحديد التطابقات من خلال مقارنة مباشرة بين تشابه الميزات. وبشكل خاص، نقترح إطار GMFlow، الذي يتكون من ثلاثة مكونات رئيسية: محول مخصص لتعزيز الميزات، وطبقة ترابط ودالة سويفت لتطابق الميزات العالمية، وطبقة انتباه ذاتي لنقل التدفق. كما نُقدّم خطوة تحسين إضافية تعيد استخدام GMFlow عند دقة أعلى للميزات لتنبؤ التدفق المتبقّي. يتفوق إطارنا الجديد على نموذج RAFT الذي يعتمد على 31 تحسينًا في معيار Sintel الصعب، مع استخدامه لتحسين واحد فقط وتشغيله بشكل أسرع، مما يشير إلى نموذج جديد لتقدير تدفق الضوء بدقة وكفاءة عالية. يمكن الوصول إلى الكود عبر الرابط: https://github.com/haofeixu/gmflow.