HyperAIHyperAI

Command Palette

Search for a command to run...

CTAP: توليد مقترحات الفعل الزمني المكملة

Jiyang Gao Kan Chen Ram Nevatia

الملخص

توليد مقترحات العمل الزمنية هو مهمة مهمة، مشابهة لمقترحات الأشياء، حيث تهدف مقترحات العمل الزمنية إلى التقاط "مقاطع" أو فواصل زمنية في الفيديوهات من المحتمل أن تحتوي على عمل. يمكن تقسيم الطرق السابقة إلى مجموعتين: تصنيف النوافذ المتزاحمة وتجميع درجات العمل (actionness score). تغطي النوافذ المتزاحمة جميع المقاطع في الفيديو بشكل موحد، ولكن حدودها الزمنية غير دقيقة؛ قد تكون طرق التجميع بناءً على درجات العمل أكثر دقة في الحدود، لكنها قد تغفل بعض المقترحات عندما تكون جودة درجة العمل منخفضة. استنادًا إلى الخصائص المكملة لهذه الطرقتين، نقترح مولد مقترحات العمل الزمنية المكملة (Complementary Temporal Action Proposal - CTAP). بصفة خاصة، نطبق مقدر ثقة عمل المقترح على مستوى المقترح (Proposal-level Actionness Trustworthiness Estimator - PATE) على مقترحات النوافذ المتزاحمة لتوليد الاحتمالات التي تشير إلى ما إذا كان يمكن اكتشاف الأعمال بشكل صحيح بواسطة درجات العمل، ويتم جمع النوافذ ذات الدرجات العالية. ثم يتم معالجة النوافذ المتزاحمة والمقترحة ومقترحات درجات العمل بواسطة شبكة عصبية متكررة زمنيًا لتصنيف المقترحات وتعديل الحدود. يتفوق CTAP على أفضل الطرق الحالية بمقدار كبير في معدل الاستدعاء المتوسط (Average Recall - AR) على قاعدة بيانات THUMOS-14 و ActivityNet 1.3. نقوم أيضًا بتطبيق CTAP كطريقة لتوليد المقترحات في كاشف عمل موجود مسبقًا، ونظهر تحسينات كبيرة ومتسقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp