الشبكات العصبية المكانية الزمنية القائمة على الأجزاء لتقسيم الأفعال بدقة عالية

التفصيل والتصنيف المشترك للأعمال الدقيقة مهم لتطبيقات التفاعل بين الإنسان والروبوت، ومراقبة الفيديو، وتقييم مهارات الإنسان. ومع ذلك، على الرغم من التقدم الكبير الذي تحقق مؤخرًا في تصنيف الأعمال على نطاق واسع، فإن أداء أفضل الأساليب الحالية للاعتراف بالأعمال الدقيقة لا يزال منخفضًا. نقترح نموذجًا للتفصيل العمل يجمع بين الخصائص المكانية-زمنية من المستوى المنخفض مع تصنيف قطعي من المستوى العالي. يتكون شبكتنا العصبية المكانية-زمنية (CNN) من مكون مكانى يستخدم مرشحات التجميع لالتقاط المعلومات حول الأشياء والعلاقات بينها، ومن مكون زمني يستخدم مرشحات تجميع كبيرة البعد الواحد لالتقاط المعلومات حول كيفية تغير العلاقات بين الأشياء عبر الزمن. يتم استخدام هذه الخصائص بالتوازي مع نموذج شبه ماركوفي يُمثّل الانتقالات من عمل إلى آخر. نقدم خوارزمية استدلال قطعي مقيد كفاءة لهذا النموذج والتي تكون أسرع بمرات عديدة من الطريقة الحالية. نسلط الضوء على فعالية شبكتنا العصبية المكانية-زمنية القطعية في مجموعات بيانات الأعمال الطهي والأعمال الجراحية، حيث نلاحظ تحسنًا كبيرًا في الأداء مقارنة بالأساليب الأساسية الحديثة.