شبكة الانتباه الذاتي التدريجي المُعَمَّرَة لتقسيم البوليب في الفيديو

النماذج الحالية لتقسيم البوليبات في الفيديو (VPS) تستخدم عادة شبكات العصبونات التلافيفية (CNNs) لاستخراج الخصائص. ومع ذلك، بسبب مجالات الاستقبال المحدودة لديها، لا تستطيع شبكات العصبونات التلافيفية استغلال المعلومات الزمنية والمكانية الشاملة في الإطارات الفيديوية المتتالية بشكل كامل، مما يؤدي إلى نتائج تقسيم خاطئة. في هذا البحث، نقترح شبكة PNS-Net (شبكة الانتباه الذاتي التدريجي المُعَمَّر) الجديدة، والتي يمكنها تعلم التمثيلات من مقاطع الفيديو المتعلقة بالبوليبات بسرعة زمنية حقيقية (حوالي 140 إطارًا في الثانية) على وحدة معالجة الرسومات RTX 2080 الواحدة وبلا أي معالجة ما بعد. تعتمد شبكتنا PNS-Net فقط على كتلة انتباه ذاتي مُعَمَّرة أساسية، وهي مجهزة بالكامل بالمكررات وشبكات العصبونات التلافيفية. أظهرت التجارب على مجموعات بيانات VPS الصعبة أن الشبكة المقترحة PNS-Net تحقق أداءً يتفوق على أفضل الأداء الحالي. كما أجرينا تجارب واسعة النطاق لدراسة فعالية تقسيم القنوات والانتباه اللين واستراتيجية التعلم التدريجي. وجدنا أن شبكتنا PNS-Net تعمل بشكل جيد تحت إعدادات مختلفة، مما يجعلها حلًّا واعدًا للمهمة VPS.