التعلم الثنائي لزيادة الدقة الفائقة للتقسيم الدلالي

تُطبّق الطرق الحديثة المتطورة للفصل الدلالي غالبًا إدخالات عالية الدقة لتحقيق أداء عالٍ، مما يُؤدي إلى استهلاك كبير للموارد الحسابية ويحد من تطبيقاتها على الأجهزة ذات الموارد المحدودة. في هذه الورقة، نقترح إطارًا بسيطًا ومرنًا مكوّنًا من تدفقين يُسمى التعلّم المزدوج لزيادة الدقة (DSRL) لتحسين دقة الفصل الدلالي بشكل فعّال دون إدخال تكاليف حسابية إضافية. ويتكون هذا المنهج المقترح من ثلاث مكونات: تحسين دقة الفصل الدلالي (SSSR)، وتحسين دقة الصورة الفردية (SISR)، ووحدة التماسك المميزات (FA)، التي تُمكّن الحفاظ على تمثيلات عالية الدقة باستخدام إدخالات منخفضة الدقة في الوقت نفسه الذي يقلل من تعقيد حساب النموذج. علاوةً على ذلك، يمكن تعميمه بسهولة على مهام أخرى مثل تقدير وضع الإنسان. يؤدي هذا المنهج البسيط والفعّال إلى تمثيلات قوية، ويُثبت أداؤه المتميز في كل من فصل الدلالي وتقدير وضع الإنسان. بشكل خاص، في فصل الدلالي على مجموعة بيانات CityScapes، نتمكن من تحقيق متوسط مُستوى التداخل (mIoU) أعلى بـ ≥2% مع نفس عدد العمليات الحسابية (FLOPs)، مع الحفاظ على الأداء عند استخدام 70% من FLOPs. أما في تقدير وضع الإنسان، فيمكننا تحقيق متوسط دقة مُحسّنة (mAP) أعلى بـ ≥2% مع نفس عدد FLOPs، والحفاظ على أداء mAP مع استخدام 30% أقل من FLOPs. يتوفر الكود والنماذج على الرابط: https://github.com/wanglixilinx/DSRL.