HyperAIHyperAI

Command Palette

Search for a command to run...

AdaMAE: تبديل تكيفي للإخفاء لتعلم فعّال في الفضاء والزمن باستخدام مُشفّرات الإخفاء المُتعددة

Wele Gedara Chaminda Bandara Naman Patel Ali Gholami Mehdi Nikkhah Motilal Agrawal Vishal M. Patel

الملخص

تتعلم النماذج المُقنعة للآليات التلقائية (MAEs) تمثيلات قابلة للتطبيق بشكل عام للصور، والنصوص، والصوتيات، والفيديوهات، وغيرها من البيانات من خلال إعادة بناء البيانات المُقنعة باستخدام الرموز (tokens) الناتجة عن البيانات المرئية. تعتمد الطرق الحالية لـ MAEs في الفيديوهات على استراتيجيات تمرير عشوائية للقطع أو الأنبوب أو الإطارات لاختيار هذه الرموز. يقترح هذا البحث استراتيجية تمرير مُتكيفة تُسمى AdaMAE، وهي استراتيجية تمرير مُتكيفة قابلة للتدريب من النهاية إلى النهاية لـ MAEs. تعتمد استراتيجيتنا المُتكيفة على عينة الرموز المرئية بناءً على السياق الدلالي باستخدام شبكة عينة مساعدة. تقوم هذه الشبكة بتقدير توزيع فئوي على الرموز الزمنية-المكانية (spacetime-patch tokens). وتُكافأ الرموز التي تزيد من خطأ إعادة البناء المتوقع وتُختار كرموز مرئية، مستوحاة من خوارزمية التدرج السياسي في التعلم التعزيزي. نُظهر أن AdaMAE تُعطي أولوية لعينة الرموز من المناطق ذات المعلومات الزمنية-المكانية العالية، مما يسمح لنا بتعطيل 95٪ من الرموز، ما يؤدي إلى تقليل استهلاك الذاكرة وتسريع عملية التدريب المُسبق. أجرينا دراسات تحليلية (أبلايشن) على مجموعة بيانات Something-Something v2 (SSv2) لإثبات فعالية نهجنا المُتكيف في العينة، ونُعلن عن نتائج قياسية في مجالها بـ 70.0٪ و81.7٪ من الدقة في المرتبة الأولى على مجموعتي بيانات تصنيف الحركات SSv2 وKinetics-400 باستخدام نموذج ViT-Base و800 دورة تدريب مسبق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp