Command Palette
Search for a command to run...
تعلم منتظمة الزمنية في تسلسلات الفيديو
تعلم منتظمة الزمنية في تسلسلات الفيديو
Hasan Mahmudul Choi Jonghyun Neumann Jan Roy-Chowdhury Amit K. Davis Larry S.
الملخص
تمييز الأنشطة ذات المعنى في تسلسل فيديو طويل يُعدّ مشكلةً صعبة نظرًا لعدم وضوح تعريف "المعنى" بالإضافة إلى التشتت والضجيج في المشهد. نعالج هذه المشكلة من خلال تعلُّم نموذج توليدي للأنماط المنتظمة للحركة، والذي نُسمّيه "الانتظام"، باستخدام مصادر متعددة مع إشراف محدود جدًا. وبشكل خاص، نقترح طريقتين مبنية على مُشفّرات التلقّي (autoencoders) بفضل قدرتها على العمل مع إشراف قليل أو منعدم. أولاً، نستفيد من الميزات المكانية الزمنية التقليدية المُصممة يدويًا، ونُعلّم مُشفّر تلقائي مترابط بالكامل عليها. ثانيًا، نُنشئ مُشفّرًا تلقائيًا تدفقيًا كاملاً باستخدام التحويلات التلافيفية (convolutional) لتعلُّم الميزات المحلية وال Classifier (فِصَلَات) معًا ضمن إطار تعلُّم متكامل من البداية إلى النهاية. يمكن لنماذجنا اكتشاف الانتظام من مجموعات بيانات متعددة. وقد قُمنا بتقييم طرائقنا من حيث الجوانب النوعية والكمية، حيث أظهرنا الانتظام المُتعلّم في الفيديوهات من جوانب مختلفة، وبيّنّا أداءً تنافسيًا على مجموعات بيانات كشف الشذوذ كتطبيق عملي.