TACNet: شبكة سياقية واعية بالانتقالات للكشف عن الأفعال المكانية-الزمانية

الطرق الحالية الأكثر تقدماً للكشف عن الأنشطة المكانية-الزمانية حققت نتائج مثيرة للإعجاب ولكنها لا تزال غير مرضية فيما يتعلق بكشف مدى الزمن. السبب الرئيسي يكمن في وجود بعض الحالات الغامضة المشابهة للأعمال الحقيقية والتي قد يتم التعامل معها كأفعال مستهدفة حتى من قبل شبكة تم تدريبها بشكل جيد. في هذا البحث، نحدد هذه العينات الغامضة بـ "الحالات الانتقالية" ونقترح شبكة سياق انتقالية (TACNet) لتمييز الحالات الانتقالية. تتضمن الشبكة المقترحة TACNet مكونين رئيسيين، وهما كاشف السياق الزمني ومصنف السياق الانتقالي. يمكن لكاشف السياق الزمني استخراج المعلومات السياقية طويلة الأمد بتعقيد زمني ثابت من خلال بناء شبكة متكررة. يمكن لمصنف السياق الانتقالي تمييز الحالات الانتقالية بشكل أكبر من خلال تصنيف الأفعال والحالات الانتقالية في الوقت نفسه. لذلك، يمكن للشبكة المقترحة TACNet تحسين أداء الكشف عن الأنشطة المكانية-الزمانية بشكل كبير. قمنا بتقييم TACNet بشكل واسع على مجموعتي بيانات UCF101-24 و J-HMDB. تظهر النتائج التجريبية أن TACNet تحصل على أداء تنافسي على J-HMDB وتتفوق بشكل كبير على أفضل الأساليب الحالية في UCF101-24 غير المقصوصة من حيث كل من frame-mAP و video-mAP.