SFNet: تقسيم معنوي أسرع وأكثر دقة عبر التدفق المعنوي
في هذا البحث، نركز على استكشاف الطرق الفعالة لتحسين عملية التقطيع الدلالي (semantic segmentation) من حيث السرعة والدقة. إحدى الممارسات الشائعة لتعزيز الأداء هي الحصول على خرائط ميزات ذات دقة عالية وتمثيل دلالي قوي. يتم استخدام استراتيجيتين على نطاق واسع لتحقيق هذا الهدف: التوسع في عمليات الإسقاط (atrous convolutions) ودمج الهرم المميز (feature pyramid fusion)، ولكن كلتا الاستراتيجيتين إما تكون مكلفة من الناحية الحسابية أو غير فعالة. مستوحاةً من تدفق الضوء (Optical Flow) المستخدم لتوفير التناسق الحركي بين الإطارات المجاورة في الفيديو، نقترح وحدة تناسق التدفق (Flow Alignment Module - FAM) لتعلم \textit{التدفق الدلالي (Semantic Flow)} بين خرائط الميزات للمستويات المجاورة وبث الميزات عالية المستوى إلى الميزات ذات الدقة العالية بفعالية وكفاءة.بالإضافة إلى ذلك، فإن دمج وحدتنا FAM في هيكل الهرم المميز القياسي يظهر أداءً أفضل من الأساليب الزمنية الحقيقية الأخرى، حتى عند استخدام شبكات ظهور خفيفة الوزن مثل ResNet-18 و DFNet. ثم، بهدف تسريع عملية الاستدلال، نقدم أيضًا وحدة تناسق التدفق الثنائي المشروطة الجديدة (Gated Dual Flow Alignment Module) لتناسق مباشر بين خرائط الميزات ذات الدقة العالية وخريطة الميزات ذات الدقة المنخفضة، والتي نطلق عليها اسم شبكة SFNet-Lite المعززة.أجرينا تجارب مكثفة على عدة مجموعات بيانات صعبة، حيث أظهرت النتائج فعالية كل من SFNet و SFNet-Lite. بشكل خاص، عند استخدام مجموعة اختبار Cityscapes، حققت سلسلة SFNet-Lite درجة تقاطع فوق الاتحاد المتوسطة (mIoU) بلغت 80.1% مع سرعة تشغيل 60 إطارًا في الثانية باستخدام شبكية ResNet-18 كأساس، وحققت 78.8% mIoU مع سرعة تشغيل 120 إطارًا في الثانية باستخدام شبكية STDC كأساس على بطاقة الرسوم RTX-3090.علاوة على ذلك، قمنا بتوحيد أربع مجموعات بيانات صعبة للقيادة في مجموعة بيانات كبيرة واحدة أسميناها مجموعة بيانات توحيد التقطيع للقيادة (Unified Driving Segmentation - UDS). تحتوي هذه المجموعة على معلومات متعددة المجال والأسلوب. قمنا بتقييم عدة أعمال تمثلية على UDS. لا تزال كلتا الشبكتين SFNet و SFNet-Lite تحققان أفضل توازن بين السرعة والدقة على UDS، مما يجعلهما أساسًا قويًا في هذا الإعداد الصعب. الكود والنماذج متاحة بشكل عام عبر الرابط https://github.com/lxtGH/SFSegNets.