TricorNet: شبكة هجينة من التفاف الزمني والشبكات المتكررة لتقسيم أفعال الفيديو

تلقى تقسيم الأنشطة اهتمامًا كبيرًا في السنوات الأخيرة كخطوة مهمة نحو بناء أنظمة آلية لفهم الفيديوهات غير المقصوصة. يتم عادةً نموذج هذا التقسيم كمشكلة تسمية التسلسل، ولكنه يحتوي على اختلافات جوهرية وكافية مقارنة بتحليل النصوص أو معالجة الكلام. في هذه الورقة البحثية، نقدم شبكة زمنية هجينة جديدة من نوع الشبكات التلافيفية والمتكررة (TricorNet)، والتي تتبع هيكل مُشفر-مُفكك: يتكون المشفر من هرم من نوى التلافيف الزمني التي تلتقط التغيرات الحركية المحلية للأنشطة المختلفة؛ أما المفكك فهو هرم من الشبكات العصبية المتكررة التي تستطيع تعلم وتذكر الارتباطات طويلة الأمد للأنشطة بعد مرحلة التشفير. نموذجنا بسيط ولكنه فعال للغاية فيما يتعلق بتسمية تسلسل الفيديو. أظهرت النتائج التجريبية على ثلاثة قواعد بيانات عامة لتقسيم الأنشطة أن النموذج المقترح حقق أداءً متفوقًا على أفضل ما تم تحقيقه سابقًا في هذا المجال.