HyperAIHyperAI

Command Palette

Search for a command to run...

انظر أكثر، اعرف أكثر: تقسيم الأشياء في الفيديو بدون إشراف باستخدام شبكات سايميز المشتركة الانتباه

Xiankai Lu Wenguan Wang Chao Ma Jianbing Shen Ling Shao Fatih Porikli

الملخص

نقدم شبكة جديدة تُسمى شبكة التوأمة المشتركة للانتباه (COSNet) لمعالجة مهمة تقسيم الأشياء في الفيديو بدون إشراف من وجهة نظر شاملة. نؤكد على أهمية الارتباط الداخلي بين الإطارات الفيديوية وندمج آلية انتباه عالمية مشتركة لتحسين الحلول العميقة القائمة على التعلم الآلي التي تركز بشكل أساسي على تعلم تمثيلات مميزة للصورة الأمامية على أساس المظهر والحركة في فترات زمنية قصيرة. توفر طبقات الانتباه المشتركة في شبكتنا مراحل فعالة وكفؤة لالتقاط الارتباطات العالمية وسياق المشهد من خلال حساب استجابات الانتباه المشترك وإلحاقها بمساحة ميزات مشتركة. ندرب COSNet باستخدام أزواج من الإطارات الفيديوية، مما يزيد بشكل طبيعي من بيانات التدريب ويسمح بزيادة قدرة التعلم. خلال مرحلة التقسيم، تقوم نموذج الانتباه المشترك بتشفير المعلومات المفيدة عبر معالجة عدة إطارات مرجعية معًا، مما يستخدم لاستنتاج الأشياء الأمامية التي تظهر بشكل متكرر ومميزة بشكل أفضل. نقترح إطارًا موحدًا قابلًا للتدريب من النهاية إلى النهاية حيث يمكن اشتقاق أنواع مختلفة من الانتباه المشترك لاكتشاف السياق الغني داخل الفيديوهات. تظهر تجاربنا الواسعة على ثلاثة مقاييس كبيرة أن COSNet تتفوق على الخيارات الحالية بمarge كبير (by a large margin).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp