HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم شبكات CNN الخفيفة لاكتشاف المسارات من خلال التقطير الذاتي للانتباه

Yuenan Hou Zheng Ma Chunxiao Liu Chen Change Loy

الملخص

تدريب النماذج العميقة لاكتشاف المسارات يعتبر تحديًا بسبب الإشارات الإشرافية الدقيقة والمتفرقة التي تتضمنها ملاحظات المسارات. بدون التعلم من سياق غني أكثر، غالبًا ما تفشل هذه النماذج في السيناريوهات الصعبة، مثل الانغلاق الشديد، والمسارات الغامضة، وظروف الإضاءة السيئة. في هذا البحث، نقدم طريقة جديدة لنقل المعرفة، وهي نقل الانتباه الذاتي (Self Attention Distillation - SAD)، والتي تسمح للنموذج بالتعلم من نفسه وتحقيق تحسين كبير دون أي إشراف أو ملصقات إضافية. بصفة خاصة، لاحظنا أن خرائط الانتباه المستخرجة من نموذج تم تدريبه إلى مستوى معقول ستتضمن معلومات سياقية غنية. يمكن استخدام المعلومات السياقية الثمينة كشكل من أشكال الإشراف "المجان" للتعلم التمثيلي الأعمق من خلال تنفيذ عملية نقل الانتباه الرأسي والطبقي داخل الشبكة نفسها. يمكن دمج SAD بسهولة في أي شبكات عصبية اصطناعية متكررة للأمام (feedforward convolutional neural networks - CNN) ولا يزيد وقت الاستدلال. قمنا بتحقق SAD على ثلاثة مقاييس شائعة لاكتشاف المسارات (TuSimple، CULane و BDD100K) باستخدام نماذج خفيفة الوزن مثل ENet و ResNet-18 و ResNet-34. أداء النموذج الأخف وزنًا، ENet-SAD، يقارن أو حتى يتفوق على الخوارزميات الموجودة حاليًا. بشكل ملحوظ، يتضمن ENet-SAD 20 مرة أقل من المعاملات ويُشغل بمعدل 10 مرات أسرع مقارنة بأحدث SCNN، بينما لا يزال يحقق أداءً مقنعًا في جميع المقاييس. رمزنا متاح على https://github.com/cardwing/Codes-for-Lane-Detection.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تعلم شبكات CNN الخفيفة لاكتشاف المسارات من خلال التقطير الذاتي للانتباه | مستندات | HyperAI