الحُجَّة لاستخدام التحويلات الثلاثية الأبعاد في التجزئة الكائنية في الفيديوهات

إن مهمة تقسيم الكائنات في الفيديوهات تُنفَّذ عادةً من خلال معالجة معلومات المظهر والحركة بشكل منفصل باستخدام الشبكات التلافيفية ثنائية الأبعاد القياسية، تليها عملية دمج مُدرَّبة لبيانات هاتين المصدرين. من ناحية أخرى، تم توظيف الشبكات التلافيفية ثلاثية الأبعاد بنجاح في مهام تصنيف الفيديو، لكنها لم تُستخدَم بكفاءة مماثلة في المشكلات التي تتطلب تفسيرًا كثيفًا على مستوى كل بكسل في الفيديو مقارنةً بشبكاتها الثنائية الأبعاد، كما أن أداؤها يظل متأخرًا مقارنةً بالشبكات المذكورة أعلاه. في هذا العمل، نُظهِر أن الشبكات التلافيفية ثلاثية الأبعاد يمكن استخدامها بكفاءة في المهام التنبؤية الكثيفة للفيديو، مثل تقسيم الكائنات البارزة. نقترح بنية شبكة مُشفَّرة-مُفكَّكة بسيطة ولكن فعالة، تتكون بالكامل من تلافيف ثلاثية الأبعاد، ويمكن تدريبها بشكل كامل (end-to-end) باستخدام دالة خسارة عادية (cross-entropy). ولتحقيق ذلك، نستفيد من مُشفِّر ثلاثي الأبعاد فعّال، ونُقدِّم بنية مُفكِّكة ثلاثية الأبعاد تتضمن طبقات تلافيف ثلاثية الأبعاد جديدة (3D Global Convolution layers) ووحدات تحسين ثلاثية الأبعاد (3D Refinement modules). ويتفوّق نهجنا على أحدث النماذج الحالية بفارق كبير على معايير التقييم الخاصة بمشاريع DAVIS'16 غير المُعلَّمة، وFBMS، وViSal، إضافةً إلى سرعته العالية، مما يُظهر أن بنية الشبكة لدينا قادرة على تعلُّم ميزات فضائية-زمنية تعبيرية بكفاءة وإنتاج قناعات تقسيم فيديو عالية الجودة. وقد أتاحنا رمز البرمجة والنماذج المدربة للجمهور عبر الرابط التالي: https://github.com/sabarim/3DC-Seg.