HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم الذاتي المشترك المهام للتوافق الزمني

Xueting Li Sifei Liu Shalini De Mello Xiaolong Wang Jan Kautz Ming-Hsuan Yang

الملخص

تُقترح في هذه الورقة تعلُّم تطابق كثيف موثوق من الفيديوهات بطريقة ذاتية التدريب (self-supervised). يدمج عملية التعلُّم لدينا مهامين مترابطين بشكل وثيق: تتبع مناطق صورة كبيرة، وتكوين ارتباطات دقيقة على مستوى البكسل بين الإطارات المتتالية في الفيديو. نستغل التآزر بين هاتين المهمتين من خلال مصفوفة ترابط مشتركة بين الإطارات (shared inter-frame affinity matrix)، التي تُنمذج في آنٍ واحد الانتقالات بين إطارات الفيديو على كل من المستويين: مستوى المنطقة ومستوى البكسل. فبينما يساعد التحديد على مستوى المنطقة في تقليل الغموض في التطابق الدقيق من خلال تضييق نطاق البحث؛ فإن التطابق الدقيق يوفر ميزات من الأسفل إلى الأعلى لتسهيل التحديد على مستوى المنطقة. تتفوّق طريقتنا على أحدث الطرق المدربة ذاتيًا في مجموعة متنوعة من مهام التطابق البصري، بما في ذلك انتقال التجزئة الخاصة بالكائنات والجزئيات في الفيديو، وتتبع النقاط المميزة، وتتبع الكائنات. بل تفوق طريقة التدريب الذاتي لدينا حتى تمثيل الميزات المرتبطة بالارتباط (affinity feature representation) المُدرَّب بشكل كامل، الذي تم الحصول عليه من نموذج ResNet-18 مُدرَّب مسبقًا على مجموعة بيانات ImageNet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم الذاتي المشترك المهام للتوافق الزمني | مستندات | HyperAI