CTAP: توليد مقترحات الفعل الزمني المكملة

توليد مقترحات العمل الزمنية هو مهمة مهمة، مشابهة لمقترحات الأشياء، حيث تهدف مقترحات العمل الزمنية إلى التقاط "مقاطع" أو فواصل زمنية في الفيديوهات من المحتمل أن تحتوي على عمل. يمكن تقسيم الطرق السابقة إلى مجموعتين: تصنيف النوافذ المتزاحمة وتجميع درجات العمل (actionness score). تغطي النوافذ المتزاحمة جميع المقاطع في الفيديو بشكل موحد، ولكن حدودها الزمنية غير دقيقة؛ قد تكون طرق التجميع بناءً على درجات العمل أكثر دقة في الحدود، لكنها قد تغفل بعض المقترحات عندما تكون جودة درجة العمل منخفضة. استنادًا إلى الخصائص المكملة لهذه الطرقتين، نقترح مولد مقترحات العمل الزمنية المكملة (Complementary Temporal Action Proposal - CTAP). بصفة خاصة، نطبق مقدر ثقة عمل المقترح على مستوى المقترح (Proposal-level Actionness Trustworthiness Estimator - PATE) على مقترحات النوافذ المتزاحمة لتوليد الاحتمالات التي تشير إلى ما إذا كان يمكن اكتشاف الأعمال بشكل صحيح بواسطة درجات العمل، ويتم جمع النوافذ ذات الدرجات العالية. ثم يتم معالجة النوافذ المتزاحمة والمقترحة ومقترحات درجات العمل بواسطة شبكة عصبية متكررة زمنيًا لتصنيف المقترحات وتعديل الحدود. يتفوق CTAP على أفضل الطرق الحالية بمقدار كبير في معدل الاستدعاء المتوسط (Average Recall - AR) على قاعدة بيانات THUMOS-14 و ActivityNet 1.3. نقوم أيضًا بتطبيق CTAP كطريقة لتوليد المقترحات في كاشف عمل موجود مسبقًا، ونظهر تحسينات كبيرة ومتسقة.