HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

مُحَوِّل الفيديو النادر مع الذاكرة المُوجَّهة بالانتباه للكشف عن الكائنات في الفيديو

{Akihiro Sugimoto Masato Fujitake}

الملخص

كشف الكائنات في الفيديو، المعروف بـ "كشف الكائنات في الفيديو" (VOD)، يُعد تحديًا كبيرًا نظرًا لتغير مظهر الكائنات مع مرور الزمن، مما قد يؤدي إلى أخطاء في الكشف. ركّزت الأبحاث الحديثة على دمج السمات من الإطارات المجاورة لتعويض التدهور في مظهر الإطار الواحد. علاوةً على ذلك، اُقترح استخدام الإطارات البعيدة للتعامل مع التدهور في المظهر عبر عدة إطارات. وبما أن موقع الكائن قد يتغير بشكل كبير في الإطار البعيد، فإن هذه الطرق تستخدم فقط سمات من مناطق احتمالية الكائن، والتي لا تعتمد على موقعها. ومع ذلك، تعتمد هذه الأساليب على أداء الكشف في مناطق احتمالية الكائن، ولا تكون عملية فعالة في حالات التدهور الشديد في المظهر. في هذا البحث، نُحسّن السمات عن طريق العنصر (element-wise) قبل عملية كشف مناطق احتمالية الكائن، ونُقدّم نموذج "مُحول الفيديو النادر بذاكرة موجهة بالانتباه" (VSTAM). علاوةً على ذلك، نُقترح دمج السمات عن طريق العنصر بشكل نادر لتقليل وقت المعالجة وتكاليف الذاكرة. كما نُقدّم استراتيجية لتحديث الذاكرة الخارجية تعتمد على استغلال عملية الدمج، لحفظ المعلومات طويلة الأمد بشكل فعّال. حققت طريقة عملنا مكاسب في الدقة بلغت 8.3% و11.1% مقارنةً بالأساس (baseline) على مجموعتي بيانات ImageNet VID وUA-DETRAC. وتُظهر طريقة العمل أداءً متفوّقًا مقارنةً بأفضل النتائج الحالية على مجموعات بيانات VOD الشائعة الاستخدام.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
object-detection-on-ua-detracVSTAM
mAP: 90.39
video-instance-segmentation-on-youtube-vis-1VSTAM
mask AP: 39.0
video-object-detection-on-imagenet-vidVSTAM
MAP : 91.1

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مُحَوِّل الفيديو النادر مع الذاكرة المُوجَّهة بالانتباه للكشف عن الكائنات في الفيديو | الأوراق البحثية | HyperAI