أين تتجه، التعرف على الحركات؟ نموذج جديد ومجموعة بيانات كينيتيكس

ندرة الفيديوهات في مجموعات البيانات الحالية لتصنيف الأفعال (UCF-101 و HMDB-51) جعلت من الصعب تحديد هياكل الفيديو الجيدة، حيث تحقق معظم الطرق أداءً مشابهًا على المقاييس الحالية الصغيرة. يعيد هذا البحث تقييم الهياكل الرائدة حاليًا في ضوء مجموعة بيانات فيديوهات أفعال البشر الجديدة Kinetics. تحتوي مجموعة البيانات Kinetics على كمية بيانات أكبر بمقدار عاملين، مع 400 فئة لأفعال البشر وأكثر من 400 مقطع فيديو لكل فئة، وهي تم جمعها من مقاطع الفيديو الواقعية والصعبة على YouTube. نقدم تحليلًا لكيفية أداء الهياكل الحالية في مهمة تصنيف الأفعال على هذه المجموعة من البيانات وكيف يتحسن الأداء على المقاييس الصغيرة بعد التدريب المسبق على Kinetics.كما نقدم شبكة جديدة ثنائية التيار مُنفوخة ثلاثية الأبعاد (I3D) تعتمد على تضخيم الشبكات العصبية التلافيفية ثنائية الأبعاد: يتم توسيع مرشحات ومجمعات الشبكات العصبية التلافيفية العميقة جدًا المستخدمة في تصنيف الصور إلى ثلاثة أبعاد، مما يجعل من الممكن تعلم مستخلصات الخصائص الزمانية-المكانية السلسة من الفيديو مع الاستفادة من تصاميم هياكل ImageNet الناجحة وحتى معلماتها. نوضح أن بعد التدريب المسبق على Kinetics، تحسنت نماذج I3D بشكل كبير على أفضل ما وصل إليه العلم حاليًا في تصنيف الأفعال، حيث بلغت نسبة الدقة 80.9% على HMDB-51 و 98.0% على UCF-101.