Command Palette
Search for a command to run...
النمذجة الزمنية للعلاقة مع التعلم الذاتي لتقسيم الأفعال
النمذجة الزمنية للعلاقة مع التعلم الذاتي لتقسيم الأفعال
Dong Wang Di Hu Xingjian Li Dejing Dou
الملخص
النمذجة الزمنية للعلاقات في الفيديو ضرورية لفهم الأفعال البشرية، مثل التعرف على الأفعال وتقسيمها. وعلى الرغم من أن الشبكات العصبية الرسومية (GCNs) أظهرت مزايا واعدة في استنتاج العلاقات في العديد من المهام، إلا أن تطبيق هذه الشبكات على تسلسلات فيديو طويلة ما زال يمثل تحديًا. والسبب الرئيسي هو أن عدد كبير من العقد (أي الإطارات الفيديوية) يجعل من الصعب على الشبكات العصبية الرسومية التقاط العلاقات الزمنية ونمذجتها في الفيديو. ولحل هذه المشكلة، نقدّم في هذا البحث وحدة GCN فعّالة تُسمّى وحدة التفكير الرسومي الزمني المُدرّج (DTGRM)، المصممة لتمثيل العلاقات والاعتماديات الزمنية بين إطارات الفيديو على فترات زمنية مختلفة. وبشكل خاص، نقوم بتمثيل العلاقات الزمنية عبر بناء رسوم زمنية مُدرّجة متعددة المستويات، حيث تمثل العقد إطارات من لحظات مختلفة في الفيديو. علاوةً على ذلك، لتعزيز قدرة النموذج على الاستدلال الزمني، نقترح مهمة تدريب ذاتية مساعدة تُشجع وحدة التفكير الرسومي الزمني المُدرّج على اكتشاف العلاقات الزمنية الخاطئة في الفيديو وتصحيحها. وقد أظهر نموذجنا DTGRM أداءً أفضل من النماذج الرائدة في التصنيف الفعلي على ثلاث مجموعات بيانات صعبة: 50Salads، وGeorgia Tech Egocentric Activities (GTEA)، وقاعدة بيانات Breakfast. ويمكن الوصول إلى الكود من خلال الرابط: https://github.com/redwang/DTGRM.