Command Palette
Search for a command to run...
انظر أكثر، اعرف أكثر: تقسيم الأشياء في الفيديو بدون إشراف باستخدام شبكات سايميز المشتركة الانتباه
انظر أكثر، اعرف أكثر: تقسيم الأشياء في الفيديو بدون إشراف باستخدام شبكات سايميز المشتركة الانتباه
Xiankai Lu Wenguan Wang Chao Ma Jianbing Shen Ling Shao Fatih Porikli
الملخص
نقدم شبكة جديدة تُسمى شبكة التوأمة المشتركة للانتباه (COSNet) لمعالجة مهمة تقسيم الأشياء في الفيديو بدون إشراف من وجهة نظر شاملة. نؤكد على أهمية الارتباط الداخلي بين الإطارات الفيديوية وندمج آلية انتباه عالمية مشتركة لتحسين الحلول العميقة القائمة على التعلم الآلي التي تركز بشكل أساسي على تعلم تمثيلات مميزة للصورة الأمامية على أساس المظهر والحركة في فترات زمنية قصيرة. توفر طبقات الانتباه المشتركة في شبكتنا مراحل فعالة وكفؤة لالتقاط الارتباطات العالمية وسياق المشهد من خلال حساب استجابات الانتباه المشترك وإلحاقها بمساحة ميزات مشتركة. ندرب COSNet باستخدام أزواج من الإطارات الفيديوية، مما يزيد بشكل طبيعي من بيانات التدريب ويسمح بزيادة قدرة التعلم. خلال مرحلة التقسيم، تقوم نموذج الانتباه المشترك بتشفير المعلومات المفيدة عبر معالجة عدة إطارات مرجعية معًا، مما يستخدم لاستنتاج الأشياء الأمامية التي تظهر بشكل متكرر ومميزة بشكل أفضل. نقترح إطارًا موحدًا قابلًا للتدريب من النهاية إلى النهاية حيث يمكن اشتقاق أنواع مختلفة من الانتباه المشترك لاكتشاف السياق الغني داخل الفيديوهات. تظهر تجاربنا الواسعة على ثلاثة مقاييس كبيرة أن COSNet تتفوق على الخيارات الحالية بمarge كبير (by a large margin).