HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم المُوجَّه بالمجموعة للإجراءات في مقاطع الفيديو المُتسلسلة عبر اتساق الترتيب الزوجي

Ehsan Elhamifar Zijia Lu

الملخص

نُعالج مشكلة التعلم بالإجراءات المُراقبة على مجموعة (set-supervised action learning)، والتي تهدف إلى تعلُّم نموذج لتقسيم الإجراءات باستخدام مراقبة ضعيفة على شكل مجموعات من الإجراءات التي تحدث في مقاطع الفيديو التدريبية. ملاحظتنا الأساسية هي أن مقاطع الفيديو المرتبطة بنفس المهمة (task) تمتلك ترتيبًا مشابهًا للإجراءات، ويمكن استغلال هذا التشابه لتحسين التعلم الفعّال. ولهذا، نقترح طريقة تعتمد على الانتباه (attention-based) مع دالة خسارة جديدة تُسمى "اتساق الترتيب الزوجي" (Pairwise Ordering Consistency - POC)، والتي تُشجع على أن يتبع انتباه الإجراءات في كل زوج من الإجراءات المشتركة بين مقاطع فيديو تابعة لنفس المهمة ترتيبًا مماثلًا. على عكس الطرق الحالية لمحاذاة التسلسلات، التي تُعاني من تداخل في تطابق الإجراءات في مقاطع الفيديو ذات الترتيبات المختلفة أو لا تستطيع تمييز الترتيبات الأكثر اتساقًا عن الأقل اتساقًا بشكل موثوق، فإن دالة الخسارة POC تقوم بمحاذاة مقاطع الفيديو ذات الترتيبات المختلفة بشكل فعّال، وهي قابلة للاشتقاق (differentiable)، ما يمكّن من التدريب من البداية إلى النهاية (end-to-end). بالإضافة إلى ذلك، تتجنب هذه الطريقة عملية توليد التسميات الافتراضية (pseudo-labels) الطويلة التي كانت تُستخدم في الدراسات السابقة. تُعلّم طريقة العمل لدينا الإجراءات ومواقعها الزمنية بشكل فعّال، وبالتالي توسّع من الطرق القائمة على الانتباه لتحديد المواقع الزمنية للإجراءات، من التعلّم على إجراء واحد في كل مقطع فيديو إلى التعلّم على عدة إجراءات باستخدام دالة الخسارة POC جنبًا إلى جنب مع دوال خسارة على مستوى المقطع (video-level) ومستوى الإطار (frame-level). وقد أظهرت التجارب على ثلاث مجموعات بيانات أن طريقة العمل تُحسّن بشكل كبير الأداء المُحَسَّن حتى الآن (state of the art). كما نُظهر أن طريقة العمل، مع تعديل بسيط، يمكنها معالجة مهمة التعلم المُراقب بالنص (transcript-supervised action learning) بشكل فعّال، حيث تكون الإجراءات وترتيبها متاحين أثناء التدريب.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم المُوجَّه بالمجموعة للإجراءات في مقاطع الفيديو المُتسلسلة عبر اتساق الترتيب الزوجي | مستندات | HyperAI