HyperAIHyperAI
منذ 2 أشهر

التمييز الذاتي للكائنات في الفيديو باستخدام التعلم بالتبخير للانتباه القابل للتشويه

Quang-Trung Truong; Duc Thanh Nguyen; Binh-Son Hua; Sai-Kit Yeung
التمييز الذاتي للكائنات في الفيديو باستخدام التعلم بالتبخير للانتباه القابل للتشويه
الملخص

التفريق بين الأشياء في الفيديو هو مشكلة بحثية أساسية في رؤية الحاسوب. غالبًا ما تستخدم التقنيات الحديثة آلية الانتباه لتعلم تمثيل الأشياء من سلاسل الفيديو. ومع ذلك، بسبب التغيرات الزمنية في بيانات الفيديو، قد لا تتوافق خرائط الانتباه بشكل جيد مع الأشياء المهمة عبر إطارات الفيديو، مما يؤدي إلى تراكم الأخطاء في معالجة الفيديو على المدى الطويل. بالإضافة إلى ذلك، استخدمت التقنيات الموجودة هياكل معقدة تتطلب تعقيدًا حسابيًا عاليًا، وبالتالي تحصر قدرة دمج التفريق بين الأشياء في الفيديو في الأجهزة ذات القوة المنخفضة. لحل هذه المشكلات، نقترح طريقة جديدة للتفريق الذاتي بين الأشياء في الفيديو تستند إلى تعلم التقطير لانتباه متغير الشكل (deformable attention). بصفة خاصة، نصمم هيكلًا خفيف الوزن للتفريق بين الأشياء في الفيديو يتم تنقيته بشكل فعال للتغيرات الزمنية. يتم تمكين هذا بواسطة آلية انتباه متغير الشكل، حيث تكون المفاتيح والقيم التي تلتقط ذاكرة سلسلة الفيديو في وحدة الانتباه لها مواقع مرنة يتم تحديثها عبر الإطارات. وبالتالي,则是这些学习到的物体表示在空间和时间维度上都具有适应性。我们通过一种新的知识蒸馏范式以自监督的方式训练所提出的架构,其中可变形注意力图被整合到蒸馏损失中。我们从定性和定量两个方面评估了我们的方法,并将其与现有的方法在包括DAVIS 2016/2017和YouTube-VOS 2018/2019在内的基准数据集上进行了比较。实验结果验证了我们方法的优势,通过其实现的最先进性能和最优内存使用。为了更符合阿拉伯语的表达习惯,我将对最后一段进行微调:تمتلك هذه الخوارزميات الجديدة تمثيلات للأجسام مرونةً عاليةً في البعدين المكاني والزمني. نقوم بتدريب الهيكل المقترح بطريقة ذاتية الإشراف من خلال نموذج جديد لتقطير المعرفة يدمج فيه خرائط الانتباه المتغيرة الشكل (deformable attention) ضمن دالة الخسارة للتقطير. قمنا بتقييم طرقنا بشكل نوعي وكمي وقارناها بالطرق الموجودة على مجموعات بيانات مرجعية مثل DAVIS 2016/2017 وYouTube-VOS 2018/2019. أثبتت النتائج التجريبية تفوق طرقنا من خلال أدائها الرائد واستخدامها الأمثل للذاكرة.希望这个翻译能够满足您的需求。如果有任何进一步的要求或需要调整的地方,请随时告知。

التمييز الذاتي للكائنات في الفيديو باستخدام التعلم بالتبخير للانتباه القابل للتشويه | أحدث الأوراق البحثية | HyperAI