HyperAIHyperAI

Command Palette

Search for a command to run...

الحُجَّة لاستخدام التحويلات الثلاثية الأبعاد في التجزئة الكائنية في الفيديوهات

Sabarinath Mahadevan Ali Athar Aljoša Ošep Sebastian Hennen Laura Leal-Taixé Bastian Leibe

الملخص

إن مهمة تقسيم الكائنات في الفيديوهات تُنفَّذ عادةً من خلال معالجة معلومات المظهر والحركة بشكل منفصل باستخدام الشبكات التلافيفية ثنائية الأبعاد القياسية، تليها عملية دمج مُدرَّبة لبيانات هاتين المصدرين. من ناحية أخرى، تم توظيف الشبكات التلافيفية ثلاثية الأبعاد بنجاح في مهام تصنيف الفيديو، لكنها لم تُستخدَم بكفاءة مماثلة في المشكلات التي تتطلب تفسيرًا كثيفًا على مستوى كل بكسل في الفيديو مقارنةً بشبكاتها الثنائية الأبعاد، كما أن أداؤها يظل متأخرًا مقارنةً بالشبكات المذكورة أعلاه. في هذا العمل، نُظهِر أن الشبكات التلافيفية ثلاثية الأبعاد يمكن استخدامها بكفاءة في المهام التنبؤية الكثيفة للفيديو، مثل تقسيم الكائنات البارزة. نقترح بنية شبكة مُشفَّرة-مُفكَّكة بسيطة ولكن فعالة، تتكون بالكامل من تلافيف ثلاثية الأبعاد، ويمكن تدريبها بشكل كامل (end-to-end) باستخدام دالة خسارة عادية (cross-entropy). ولتحقيق ذلك، نستفيد من مُشفِّر ثلاثي الأبعاد فعّال، ونُقدِّم بنية مُفكِّكة ثلاثية الأبعاد تتضمن طبقات تلافيف ثلاثية الأبعاد جديدة (3D Global Convolution layers) ووحدات تحسين ثلاثية الأبعاد (3D Refinement modules). ويتفوّق نهجنا على أحدث النماذج الحالية بفارق كبير على معايير التقييم الخاصة بمشاريع DAVIS'16 غير المُعلَّمة، وFBMS، وViSal، إضافةً إلى سرعته العالية، مما يُظهر أن بنية الشبكة لدينا قادرة على تعلُّم ميزات فضائية-زمنية تعبيرية بكفاءة وإنتاج قناعات تقسيم فيديو عالية الجودة. وقد أتاحنا رمز البرمجة والنماذج المدربة للجمهور عبر الرابط التالي: https://github.com/sabarim/3DC-Seg.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp