HyperAIHyperAI

Command Palette

Search for a command to run...

تدفق المرشح التنبؤي متعدد الشبكات للتعلم غير المشرف على الفيديوهات

Shu Kong Charless Fowlkes

الملخص

نقدم إطار العمل المعروف بـ multigrid Predictive Filter Flow (mgPFF)، وهو مخصص للتعلم غير المشرف على الفيديوهات. يقوم mgPFF بأخذ زوج من الإطارات كمدخل وينتج مرشحات لكل بكسل لتشويه (warping) إحدى الإطارات إلى الأخرى. بالمقارنة مع التدفق البصري المستخدم في تشويه الإطارات، فإن mgPFF أكثر قوة في نمذجة الحركة تحت البكسلية ومعالجة التلف (مثل تشتت الحركة). لقد طورنا استراتيجية نمذجة متعددة الشبكات من الخشن إلى الدقيق التي تتجنب الحاجة إلى تعلم مرشحات كبيرة لالتقاط النزوح الكبير. هذا يسمح لنا بتدريب نموذج شديد الصغر (4.6 ميجابايت) يعمل بطريقة تدريجية عبر عدة دقة مع أوزان مشتركة. نقوم بتدريب mgPFF على فيديوهات حرة وغير مشرفة ونظهر أن mgPFF قادر ليس فقط على تقدير التدفق الطويل المدى لإعادة بناء الإطار وكشف انتقالات المشاهد في الفيديو، بل يمكن تعديله بسهولة أيضًا لاستخدامه في تقسيم الأشياء في الفيديو وتتبع الوضع، حيث يتفوق بشكل كبير على أفضل ما تم نشره حتى الآن دون الحاجة إلى استخدام تقنيات معقدة. علاوة على ذلك، بفضل طبيعة mgPFF في التنبؤ بالمرشحات لكل بكسل، لدينا فرصة فريدة لتوضيح كيفية تطور كل بكسل أثناء حل هذه المهام، مما يوفر لنا فهمًا أفضل وأكثر شفافية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تدفق المرشح التنبؤي متعدد الشبكات للتعلم غير المشرف على الفيديوهات | مستندات | HyperAI