Command Palette
Search for a command to run...
شبكات عصبية متعددة الطبقات مكانيّة زمنيّة لتقسيم الحركات الدقيقة
شبكات عصبية متعددة الطبقات مكانيّة زمنيّة لتقسيم الحركات الدقيقة
Lea Colin Reiter Austin Vidal Rene Hager Gregory D.
الملخص
يُعد التجزئة المشتركة والتصنيف للإجراءات الدقيقة أمرًا مهمًا في تطبيقات التفاعل بين الإنسان والروبوت، والرصد الفيديوي، وتقييم المهارات البشرية. ومع ذلك، وعلى الرغم من التقدم الكبير الذي تم إحرازه مؤخرًا في تصنيف الإجراءات على نطاق واسع، لا تزال أداء أحدث الأساليب المستخدمة في التعرف على الإجراءات الدقيقة منخفضة. نقترح نموذجًا لتجزئة الإجراءات يجمع بين السمات الزمكانية من الدرجة الدنيا وفِعل التصنيف المُجزَّأ من الدرجة العليا. يتكون شبكتنا العصبية الزمكانية (CNN) من جزئين: مكوّن فراغي يستخدم مرشحات تلافيفية لالتقاط معلومات حول الكائنات والعلاقات بينها، ومكوّن زمني يستخدم مرشحات تلافيفية أحادية الأبعاد كبيرة لالتقاط معلومات حول كيفية تغير العلاقات بين الكائنات عبر الزمن. تُستخدم هذه السمات معًا مع نموذج شبه ماركوف (semi-Markov) الذي يُمثّل الانتقالات من إجراء إلى آخر. ونقدّم خوارزمية استنتاج مُجزَّأة مُقيَّدة وفعّالة لهذا النموذج، وهي أسرع بعشرات المرات مقارنة بالنهج الحالي. ونُبرز فعالية نموذجنا "الشبكة العصبية الزمكانية المُجزَّأة" (Segmental Spatiotemporal CNN) على مجموعتي بيانات تتعلق بالطبخ والإجراءات الجراحية، حيث نلاحظ تحسنًا ملحوظًا في الأداء مقارنة بالأساليب المعيارية الحديثة.