كشف الكائنات المظلمة باستخدام AET متعدد المهام مع منظور متعامد للانتظام المماسية

تُشكّل البيئة المظلمة تحديًا لخوارزميات الرؤية الحاسوبية بسبب نقص الفوتونات والضوضاء غير المرغوب فيها. ولتحسين كشف الأجسام في البيئة المظلمة، نقترح نموذجًا جديدًا يُسمى التحويل التلقائي متعدد المهام (MAET)، الذي يتمكن من استكشاف الأنماط الجوهرية الكامنة وراء التحويلات الإضاءية. وبطريقة ذاتية التدريب (self-supervision)، يتعلم نموذج MAET البنية البصرية الجوهرية من خلال ترميز وفك ترميز التحولات الواقعية التي تُضعف الإضاءة، مع أخذ نموذج الضوضاء الفيزيائي ومعالجة إشارات الصور (ISP) بعين الاعتبار.وبASE على هذا التمثيل، نحقق مهمة كشف الأجسام من خلال فك ترميز إحداثيات مربعات الحدود والفئات. ولتجنب التداخل الزائد بين المهمتين، يُفكّك نموذج MAET ميزات الجسم وميزات التدهور من خلال تطبيق شرط التماسك المتعامد (orthogonal tangent regularity). وهذا يُشكّل متعددة معاملية (parametric manifold) يمكن من خلالها صياغة التنبؤات متعددة المهام بشكل هندسي من خلال تعظيم التماسك المتعامد بين المماسات المقابلة للنتائج الناتجة عن كل مهمة على حدة.يمكن تنفيذ إطارنا بناءً على هياكل كشف الأجسام الشائعة، وتدريبه بشكل مباشر من البداية إلى النهاية باستخدام مجموعات بيانات كشف الأجسام العادية، مثل VOC وCOCO. وقد حققنا أداءً متقدمًا على مستوى الحد الأقصى باستخدام بيانات مُصَنَّعة وبيانات واقعية. يُمكن الوصول إلى الكود عبر الرابط التالي: https://github.com/cuiziteng/MAET.