HR-Pro: التعرف على الإجراءات الزمنية المعتمد على الإشراف النقطي من خلال الانتشار الهرمي للموثوقية

الاستدلال الزمني للإجراءات بنقطة مُراقبة (PSTAL) هو اتجاه بحثي ناشئ يهدف إلى التعلم الفعّال من حيث التسمية. ومع ذلك، تتركز الطرق الحالية في المقام الأول على تحسين الشبكة إما على مستوى القطعة (snippet) أو على مستوى المثال (instance)، مما يؤدي إلى إهمال الموثوقية المتأصلة في التسميات النقطية على كل من المستويين. في هذه الورقة، نقترح إطارًا يُسمى التفاعل الهرمي للثقة (HR-Pro)، والذي يتكون من مرحلتين مُراعيتين للثقة: التعلّم التمييزي على مستوى القطعة، والتَّعلُّم المكتمل على مستوى المثال. وتستكشف كلتا المرحلتين انتشارًا فعّالًا للإشارات عالية الثقة الواردة في التسميات النقطية. بالنسبة للتعلّم على مستوى القطعة، نقدّم ذاكرة يتم تحديثها بشكل آني لتخزين نماذج موثوقة لكل فئة. ثم نستخدم بلوك انتباه مُراعٍ للثقة لالتقاط الاعتماديات داخل الفيديو وخارج الفيديو بين القطع، مما يؤدي إلى تمثيل أكثر تمييزًا وقوة للقطع. أما على مستوى المثال، فنقترح منهجية قائمة على النقط لتكوين اقتراحات، كوسيلة لربط القطع بالمقاصد، حيث تُنتج اقتراحات عالية الثقة تُستخدم لتحسين إضافي على مستوى المثال. وبفضل التعلّم متعدد المستويات المُراعي للثقة، نحصل على درجات ثقة أكثر موثوقية، وحدود زمنية أكثر دقة للاقتراحات المُتنبّأ بها. يحقق إطار HR-Pro أداءً من الدرجة الأولى على عدة معايير صعبة، بما في ذلك متوسط دقة التصنيف (mAP) المُذهل البالغ 60.3% على مجموعة بيانات THUMOS14. ومن الملاحظ أن HR-Pro يتفوق بكثير على جميع الطرق السابقة المُراقبة بنقطة، بل ويتفوّق حتى على بعض الطرق المُراقبة بشكل كامل وتنافسية. سيتم إتاحة الكود على الرابط: https://github.com/pipixin321/HR-Pro.