BiFormer: تعلّم تقدير الحركة الثنائية من خلال محول ثنائي للترميز ثنائي في توليد إطارات الفيديو بدقة 4K

في هذه الورقة، تم اقتراح معالج جديد لاستيفاء إطارات الفيديو بجودة 4K يعتمد على نموذج التحويل الثنائي (BiFormer)، والذي ينفذ ثلاث خطوات: تقدير الحركة الشاملة، تحسين الحركة المحلية، وتركيب الإطار. أولاً، في مرحلة تقدير الحركة الشاملة، نُقدّر حقول الحركة الثنائية المتماثلة على مقياس خشن. ولتحقيق ذلك، نُقدّم نموذج BiFormer، وهو أول مُقدّر لحركة ثنائية مبني على نموذج التحويل. ثانيًا، نُحسّن حقول الحركة الشاملة بشكل فعّال باستخدام حُجُرات تكلفة ثنائية على أساس الكتل (BBCVs). ثالثًا، نُحوّل الإطارات المدخلة باستخدام حقول الحركة المحسّنة ونُدمجها لتركيب إطار وسيط. تُظهر التجارب الواسعة أن خوارزمية BiFormer المُقترحة تحقق أداءً ممتازًا في استيفاء الإطارات على مجموعات بيانات 4K. يمكن الوصول إلى الكود المصدري من خلال الرابط: https://github.com/JunHeum/BiFormer.