الرسم العميق الموجه بالتدفق لملء الفيديو

تظل عملية ملء الفراغات في الفيديو (الفيديو إن페ينتينج) صعبة بسبب صعوبة الحفاظ على الترابط المكاني والزماني الدقيق لمحتويات الفيديو. في هذا البحث، نقترح نهجًا جديدًا لملء الفراغات في الفيديو يعتمد على توجيه التدفق. بدلاً من ملء بيكسلات RGB لكل إطار مباشرة، نعتبر عملية ملء الفراغات في الفيديو كمشكلة انتشار البيكسلات. أولاً، نقوم بتركيب حقل تدفق بصري متماسك مكانيًا وزمانيًا عبر إطارات الفيديو باستخدام شبكة تكميل التدفق العميقة المصممة حديثًا. ثم يتم استخدام الحقل المتدفق المركب لتوجيه انتشار البيكسلات لملء المناطق المفقودة في الفيديو. بشكل خاص، تتبع شبكة تكميل التدفق العميقة عملية تحسين من الخشن إلى الدقيق لإكمال حقول التدفق، بينما يتم تحسين جودتها أكثر من خلال التنقيب عن أمثلة صعبة للتدفق. وفقًا للتوجيه الذي توفره حقول التدفق المكتملة، يمكن ملء المناطق المفقودة في الفيديو بدقة. تم تقييم طريقتنا بشكل نوعي وكمي على مجموعة بيانات DAVIS و YouTube-VOS، حيث حققت أفضل الأداء من حيث جودة ملء الفراغات وسرعتها.