Learn2Augment: تعلُّم توليف مقاطع الفيديو لتعزيز البيانات في التعرف على الإجراءات

نعالج مشكلة تكبير البيانات في التعرف على الإجراءات في الفيديو. تُصمم استراتيجيات التكبير القياسية في الفيديو يدويًا، وتستعين بعينات من فضاء النقاط المُضافة الممكنة إما بشكل عشوائي دون معرفة أي النقاط المُضافة ستكون أفضل، أو من خلال قواعد تجريبية. نقترح تعلُّم ما يجعل فيديو جيدًا للتعرف على الإجراءات، واختيار عينات عالية الجودة فقط لعملية التكبير. وبشكل خاص، نختار عملية توليد الفيديو المركب من فيديو أمامي وخلفي كعملية تكبير للبيانات، مما يؤدي إلى نماذج جديدة متنوعة وواقعية. ونُعلّم أي أزواج من الفيديوهات ينبغي تكبيرها دون الحاجة إلى توليد هذه الأزواج فعليًا. وهذا يقلل من حجم الفضاء الممكن للتكبير، ويحقق ميزة متعددة: فهو يقلل التكلفة الحاسوبية، ويزيد من دقة المصنف المدرب في النهاية، لأن الأزواج المُضافة تكون ذات جودة أعلى من المتوسط. نقدم نتائج تجريبية على طيف كامل من إعدادات التدريب: قليلة العينات، شبه مراقبة، ومحكومة بالكامل. ونلاحظ تحسينات منتظمة في جميع هذه الإعدادات مقارنة بالعمل السابق والأساسيات على مجموعات بيانات Kinetics وUCF101 وHMDB51، ونحقق حالة جديدة من الأداء الأفضل في الإعدادات التي تتوفر فيها كميات محدودة من البيانات. كما نلاحظ تحسينات تصل إلى 8.6% في الإعداد شبه المراقب.