HyperAIHyperAI
منذ 2 أشهر

تعلم النمط الزمني في سلاسل الفيديو

Hasan, Mahmudul ; Choi, Jonghyun ; Neumann, Jan ; Roy-Chowdhury, Amit K. ; Davis, Larry S.
تعلم النمط الزمني في سلاسل الفيديو
الملخص

إدراك الأنشطة ذات المعنى في سلسلة فيديو طويلة هو مشكلة صعبة بسبب التعريف الغامض لـ "المعنى" وكذلك الفوضى الموجودة في المشهد. نتعامل مع هذه المشكلة من خلال تعلم نموذج توليدي لأنماط الحركة المنتظمة، والتي تُعرف بالانتظام، باستخدام مصادر متعددة مع إشراف محدود للغاية. تحديدًا، نقترح طريقتين تعتمدان على الترميز الآلي (Autoencoders) لقدرتها على العمل بقليل أو بدون إشراف. أولاً، نستفيد من الميزات المكانية-الزمانية المحلية التقليدية التي تم تصميمها يدويًا ونتعلم ترميزًا آليًا متصلًا بالكامل عليها. ثانيًا، نبني ترميزًا آليًا متقدمًا بالكامل ومتصلًا بالكامل لتعلم الميزات المحلية والتصنيفات كإطار عمل للتعلم من النهاية إلى النهاية. يمكن لنموذجنا التقاط الانتظامات من مجموعات بيانات متعددة. نقيم طرقنا بطريقة نوعية وكمية - حيث نظهر الانتظام الذي تم تعلمه من الفيديوهات في جوانب مختلفة ونثبت الأداء التنافسي على مجموعات بيانات اكتشاف الشذوذ كتطبيق.

تعلم النمط الزمني في سلاسل الفيديو | أحدث الأوراق البحثية | HyperAI