SegBlocks: شبكات ذات حلقة ديناميكية قائمة على الكتل للفصل الزمني الفعلي

يقلل سِيغ بْلوكس (SegBlocks) من التكلفة الحسابية للشبكات العصبية الحالية من خلال تعديل ديناميكي لدقة المعالجة في مناطق الصورة بناءً على تعقيدها. يقسم نهجنا الصورة إلى كتل، ثم يقوم بخفض دقة (downsampling) الكتل ذات التعقيد المنخفض، مما يقلل عدد العمليات والاستهلاك الذاكرة. يتم تدريب شبكة سياسة خفيفة الوزن، تُحدد المناطق ذات التعقيد العالي، باستخدام التعلم المعزز (reinforcement learning). بالإضافة إلى ذلك، نُقدّم عدة وحدات مُطبقة باستخدام CUDA لمعالجة الصور بشكل كتل. والأهم من ذلك، أن وحدة BlockPad المبتكرة تمنع التقطيعات في الميزات عند حدود الكتل، التي تعاني منها الطرق الحالية، مع الحفاظ على استهلاك الذاكرة ضمن حدود مقبولة. أظهرت تجاربنا على مجموعات بيانات Cityscapes وCamvid وMapillary Vistas في مهام التجزئة الدلالية (semantic segmentation) أن المعالجة الديناميكية للصور توفر توازنًا أفضل بين الدقة والتعقيد مقارنة بالأساليب الثابتة ذات التعقيد المماثل. على سبيل المثال، يقلل هذا الأسلوب من عدد العمليات النقطية العائمة (floating-point operations) في SwiftNet-RN18 بنسبة 60٪، ويزيد من سرعة الاستدلال بنسبة 50٪، مع انخفاض طفيف بنسبة 0.3٪ فقط في دقة mIoU على مجموعة بيانات Cityscapes.