السابقة الدلالية لتدفق المشهد العصبي

قبل ثورة التعلم العميق، كانت العديد من خوارزميات الإدراك تعتمد على التحسين في وقت التشغيل بالاشتراك مع عقوبة سابقة/تنظيمية قوية. مثال بارز على هذا في رؤية الحاسوب هو التدفق البصري والتدفق المناظر. لقد أطاح التعلم تحت الإشراف إلى حد كبير بحاجة استخدام التنظيم الصريح. بدلاً من ذلك، يعتمدون على كميات كبيرة من البيانات المصنفة لتقاطع الإحصاءات السابقة، والتي قد لا تكون متاحة دائمًا للعديد من المشكلات. رغم أن التحسين يستخدم لتعلم الشبكة العصبية، فإن أوزان هذه الشبكة تجمد في وقت التشغيل. نتيجة لذلك، تكون هذه الحلول القائمة على التعلم محددة للنطاق ولا تعمم بشكل جيد على سيناريوهات إحصائية مختلفة أخرى. يعيد هذا البحث النظر في مشكلة التدفق المناظر التي تعتمد بشكل أساسي على التحسين في وقت التشغيل والتنظيم القوي. الابتكار الرئيسي هنا هو تضمين سابقة تدفق المناظر العصبية، والتي تستفيد من بنية الشبكات العصبية كنوع جديد من التنظيم الضمني. على عكس طرق التدفق المناظر القائمة على التعلم، يحدث التحسين في وقت التشغيل، ونهجنا لا يحتاج إلى مجموعات بيانات خارج الخط -- مما يجعله مثاليًا للنشر في بيئات جديدة مثل القيادة الذاتية. نظهر أن بنية تعتمد بشكل حصري على المُدرِكات المتعددة الطبقات (MLPs) يمكن استخدامها كسابقة تدفق المناظر. يصل نهجنا إلى نتائج تنافسية -- إن لم تكن أفضل -- في مقاييس تدفق المناظر. بالإضافة إلى ذلك، تمكّن تمثيلنا الضمني والمكثف للتدفق المناظر من تقدير التطابقات طويلة الأجل الكثيفة عبر سلسلة من السحب النقطية. يتم تمثيل المعلومات الحركية الكثيفة بواسطة حقول تدفق المناظر حيث يمكن نشر النقاط عبر الزمن عن طريق دمج متجهات الحركة. نوضح هذه القدرة عبر تراكم سلسلة من السحب النقطية لليدار (LIDAR).