HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

التعلم التفاعلي للخصائص الداخلية والخارجية للفهم الدلالي على مدار اليوم

{Theo Gevers ShaoDi You Qi Bi}

الملخص

تتغير مظهر المشهد بشكل كبير طوال اليوم. تركز الطرق الحالية لتقسيم المعاني بشكل رئيسي على سيناريوهات النهار المضيئة جيدًا، ولا تمتص بشكل جيد التغيرات الكبيرة في المظهر. لا يحل استخدام التكييف النطاقي بشكل بسيط هذه المشكلة، لأنه غالبًا ما يتعلم تطابقًا ثابتًا بين المجال المصدر والمجال الهدف، وبالتالي يكون لديه قدرة تعميم محدودة على السيناريوهات طوال اليوم (أي من الفجر إلى الليل).في هذه الورقة، على عكس الطرق الحالية، نعالج هذه التحديات من منظور تكوين الصورة نفسه، حيث يُحدد مظهر الصورة بواسطة خصائص داخلية (مثل الفئة المعنوية والهيكل) وخارجية (مثل الإضاءة). لتحقيق ذلك، نقترح استراتيجية تعلم متفاعلة بين الخاصيتين الداخلية والخارجية. الفكرة الأساسية هي إقامة تفاعل بين تمثيلات الخاصيتين الداخلية والخارجية أثناء عملية التعلم، مع توجيه فراغي (spatial-wise). وبهذا، تصبح التمثيلات الداخلية أكثر استقرارًا، في الوقت الذي تتحسن فيه التمثيلات الخارجية في وصف التغيرات. نتيجة لذلك، يصبح التمثيل المُحسَّن للصورة أكثر مقاومة لتقديم تنبؤات دقيقة على مستوى البكسل لجميع السيناريوهات طوال اليوم. ولتحقيق ذلك، نقترح شبكة تقسيم شاملة (AO-SegNet) بطريقة نهاية إلى نهاية.أُجريت تجارب واسعة النطاق على ثلاث مجموعات بيانات حقيقية (Mapillary، BDD100K، وACDC) ومجموعة بيانات اصطناعية جديدة نقترحها تُسمى CityScapes طوال اليوم. تُظهر AO-SegNet المقترحة تحسنًا كبيرًا في الأداء مقارنة بالطرق الرائدة في مجالها، على مجموعة متنوعة من الهياكل العميقة (CNN وViT) في جميع مجموعات البيانات.

مستودعات الكود

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
all-day-semantic-segmentation-on-all-dayAO-SegNet (Swin-Base)
mIoU: 78.6
semantic-segmentation-on-mapillary-valAO-SegNet
mIoU: 76.0

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp