الرسوم البيانية للمنطق الزمني للاعتراف بالأنشطة

رغم تحقيق نجاحات كبيرة في تحليل الأنشطة، لا تزال هناك العديد من التحديات. يركز معظم العمل الحالي في مجال التعرف على الأنشطة بشكل أكبر على تصميم هياكل فعالة أو استراتيجيات عينات الفيديو. ومع ذلك، بسبب خصائص الحركات الدقيقة والهيكل طويل المدى في الفيديو، يتوقع من التعرف على الأنشطة أن يفسر العلاقة الزمنية بين سلاسل الفيديو. في هذا البحث، نقترح رسمًا بيانيًا فعالًا للعلاقة الزمنية (TRG) لالتقاط ميزات الظهور والعلاقة الزمنية بين سلاسل الفيديو في أوقات متعددة ومتنوعة بشكل متزامن. تحديدًا، نقوم ببناء رسوم بيانية قابلة للتعلم للعلاقة الزمنية لاستكشاف العلاقة الزمنية على نطاق متعدد المقاييس. بالإضافة إلى ذلك، لتسهيل استخراج العلاقة الزمنية المتعددة المقاييس، صممنا مصفوفة مجاورة زمنية متعددة الرؤوس تمثل أنواعًا مختلفة من العلاقات الزمنية. وفي النهاية، تم اقتراح جهاز تجميع علاقات زمنية متعدد الرؤوس لاستخراج المعنى الدلالي لتلك الميزات التي تتداخل عبر الرسوم البيانية. أجريت تجارب واسعة النطاق على مجموعات بيانات كبيرة مستخدمة بشكل واسع مثل Something-Something و Charades، وأظهرت النتائج أن نموذجنا يمكنه تحقيق أداء يتفوق على أفضل ما هو موجود حاليًا. كما أظهرت التحليلات الإضافية أن استدلال العلاقة الزمنية باستخدام TRG الخاص بنا يمكنه استخراج ميزات تمييزية للتعرف على الأنشطة.