النماذج مهمة، التدريب كذلك: دراسة تجريبية لشبكات النيورونات المتشابكة للتقدير البصري للتدفق

نقوم بدراسة جوانب حاسمة ومتصلة اتصالاً وثيقاً في شبكات النيورونات التلافيفية (CNNs) لتقدير الجريان البصري: النماذج والتدريب. أولاً، نصمم نموذجاً مدمجاً ولكنه فعال من شبكات النيورونات التلافيفية، يُسمى PWC-Net، وفقًا لمبادئ بسيطة ومعروفة جيداً: المعالجة الهرمية، التحوير (warping)، ومعالجة حجم التكلفة (cost volume). PWC-Net أصغر بمقدار 17 مرة من حيث الحجم، وأسرع بمقدار ضعفين في الاستدلال، ودقيق بنسبة 11٪ أكثر على اختبار Sintel النهائي مقارنة بنموذج FlowNet2 الحديث. وهو المدخل الفائز في مسابقة الجريان البصري لتحدي الرؤية القوية. ثانياً، نحلل تجريبياً مصادر زيادة أدائنا. وبشكل خاص، نستخدم الإجراء نفسه للتدريب الذي استخدمناه مع PWC-Net لإعادة تدريب FlowNetC، وهي شبكة فرعية من FlowNet2. أصبحت FlowNetC المدربة مرة أخرى دقيقة بنسبة 56٪ أكثر على اختبار Sintel النهائي مقارنة بالنموذج السابق المدرب وحتى دقيقة بنسبة 5٪ أكثر من نموذج FlowNet2. لقد قمنا أيضاً بتحسين إجراءات التدريب وزادنا دقة PWC-Net على اختبار Sintel بنسبة 10٪ وعلى KITTI 2012 و 2015 بنسبة 20٪. سيتم توفير معلمات النموذج الجديد وإجراءات التدريب الخاصة بنا على https://github.com/NVlabs/PWC-Net