اكتشاف الأنشطة الزمنية ب weakly-supervised لمقاطع الفيديو الدقيقة ذات الأنشطة الذرية الهرمية

تطور فهم الأفعال إلى عصر التفاصيل الدقيقة، حيث تتميز معظم السلوكيات البشرية في الحياة الحقيقية بالاختلافات الطفيفة فقط. للكشف عن هذه الأفعال الدقيقة بدقة وبطريقة فعالة من حيث العلامات، نواجه مشكلة الكشف الزمني الدقيق للأفعال تحت الإشراف الضعيف في مقاطع الفيديو للمرة الأولى. بدون تصميم دقيق لالتقاط الاختلافات الدقيقة بين الأفعال الدقيقة، لا يمكن للأمثلة السابقة التي كانت تحت الإشراف الضعيف والموجهة لاكتشاف الأفعال العامة أن تؤدي بشكل جيد في الإعداد الدقيق. نقترح نمذجة الأفعال كمزيج من الأفعال الذرية القابلة لإعادة الاستخدام والتي يتم اكتشافها تلقائيًا من البيانات عبر التجميع ذاتي الإشراف، وذلك للاستيلاء على الخصائص المشتركة والفردية للأفعال الدقيقة. يتم رسم الأفعال الذرية المُتعلمة، التي تمثلها المفاهيم البصرية، إلى علامات أفعال دقيقة وخشنة باستغلال هرمية العلامات الدلالية. يبني نهجنا هرمية تمثيل بصرية تتكون من أربعة مستويات: مستوى القطعة (clip level)، مستوى الفعل الذري (atomic action level)، مستوى تصنيف الفعل الدقيق (fine action class level) ومستوى تصنيف الفعل الخشن (coarse action class level)، مع وجود إشراف على كل مستوى. تظهر التجارب الواسعة على مجموعتين كبيرتين من بيانات الفيديو ذات التفاصيل الدقيقة، FineAction وFineGym، فائدة النموذج المقترح تحت الإشراف الضعيف لاكتشاف الأفعال الدقيقة، وقد حقق أفضل النتائج المعاصرة.