تعلم التدفق البصري من عدد قليل من التطابقات

تتطلب النماذج الحديثة للشبكات العصبية لتقدير التدفق البصري حجم ترابط كثيف بمستويات دقة عالية لتمثيل الانزياح لكل بكسل. وعلى الرغم من أن حجم الترابط الكثيف يوفر معلومات مفيدة لتقدير دقيق، إلا أن التكاليف الحسابية الثقيلة واستهلاك الذاكرة الكبير يعيقان التدريب الفعّال والنشر الناجح لهذه النماذج. في هذا البحث، نُظهر أن تمثيل حجم الترابط الكثيف هو مُفرِط، ويمكن تحقيق تقدير دقيق للتدفق باستخدام جزء صغير فقط من عناصره. استنادًا إلى هذه الملاحظة، نقترح تمثيلًا بديلًا للانزياح يُسمى "حجم الترابط النادر" (Sparse Correlation Volume)، والذي يُبنى مباشرة من خلال حساب أقرب k مطابقة في خريطة ميزة واحدة لكل متجه ميزة في الخريطة الأخرى، ويُخزن في بنية بيانات نادرة. تُظهر التجارب أن طريقةنا تقلل بشكل كبير من التكلفة الحسابية واستهلاك الذاكرة، مع الحفاظ على دقة عالية مقارنة بالطرق السابقة التي تعتمد على حجم ترابط كثيف. يمكن الاطلاع على الكود عبر الرابط: https://github.com/zacjiang/scv.