BSN++: منظم الحدود المكمل مع نمذجة العلاقة المتوازنة حسب القياس لاقتراح الأنشطة الزمنية

إنشاء اقتراحات للأفعال البشرية في مقاطع الفيديو غير المقصوصة هو مهمة مهمة ومعقدة لها تطبيقات واسعة. غالبًا ما تعاني الطرق الحالية من مواقع حدود ضوضائية وجودة ثقة منخفضة في النقاط المستخدمة لاسترجاع الاقتراحات. في هذا البحث، نقدم BSN++، إطار عمل جديد يستفيد من مصنف الحدود التكميلي ونمذجة العلاقات للحصول على اقتراحات زمنية. أولاً، نقترح مصنف حدود جديد يعتمد على الخصائص التكميلية لكل من مصنفي بداية ونهاية الحدود. بتحديد أكثر، نستخدم بنية حرف U مع اتصالات تخطي متداخلة للاستفادة من السياقات الغنية ونقدم آلية مطابقة الحدود ثنائية الاتجاه لتحسين دقة الحدود. ثانيًا، لمعالجة علاقات الاقتراحات التي تم تجاهلها في الأساليب السابقة، قمنا بتصميم كتلة علاقات الاقتراح التي تتضمن وحدتين ذاتيتين للانتباه (self-attention) من جوانب الموقع والقناة. بالإضافة إلى ذلك، وجدنا أن هناك مشكلة عدم توازن البيانات بشكل لا مفر منه في الاقتراحات الإيجابية/السلبية والمدد الزمنية، مما يؤثر سلبًا على أداء النموذج في التوزيعات الذيلية (tail distributions). لتخفيف هذه المشكلة، قدمنا استراتيجية إعادة العينة المتوازنة حسب المقياس (scale-balanced re-sampling). تم إجراء تجارب شاملة على محكمتي شعبية: ActivityNet-1.3 وTHUMOS14، والتي أظهرت أن BSN++ يحقق الأداء الرائد في المجال. ومن المنطقي أن يكون BSN++ المقترح قد حلّ في المركز الأول في لوحة تحدي CVPR19 - ActivityNet للمهمة الخاصة بتقنين الأفعال الزمنية (temporal action localization task).