تعلم شبكات CNN الخفيفة لاكتشاف المسارات من خلال التقطير الذاتي للانتباه

تدريب النماذج العميقة لاكتشاف المسارات يعتبر تحديًا بسبب الإشارات الإشرافية الدقيقة والمتفرقة التي تتضمنها ملاحظات المسارات. بدون التعلم من سياق غني أكثر، غالبًا ما تفشل هذه النماذج في السيناريوهات الصعبة، مثل الانغلاق الشديد، والمسارات الغامضة، وظروف الإضاءة السيئة. في هذا البحث، نقدم طريقة جديدة لنقل المعرفة، وهي نقل الانتباه الذاتي (Self Attention Distillation - SAD)، والتي تسمح للنموذج بالتعلم من نفسه وتحقيق تحسين كبير دون أي إشراف أو ملصقات إضافية. بصفة خاصة، لاحظنا أن خرائط الانتباه المستخرجة من نموذج تم تدريبه إلى مستوى معقول ستتضمن معلومات سياقية غنية. يمكن استخدام المعلومات السياقية الثمينة كشكل من أشكال الإشراف "المجان" للتعلم التمثيلي الأعمق من خلال تنفيذ عملية نقل الانتباه الرأسي والطبقي داخل الشبكة نفسها. يمكن دمج SAD بسهولة في أي شبكات عصبية اصطناعية متكررة للأمام (feedforward convolutional neural networks - CNN) ولا يزيد وقت الاستدلال. قمنا بتحقق SAD على ثلاثة مقاييس شائعة لاكتشاف المسارات (TuSimple، CULane و BDD100K) باستخدام نماذج خفيفة الوزن مثل ENet و ResNet-18 و ResNet-34. أداء النموذج الأخف وزنًا، ENet-SAD، يقارن أو حتى يتفوق على الخوارزميات الموجودة حاليًا. بشكل ملحوظ، يتضمن ENet-SAD 20 مرة أقل من المعاملات ويُشغل بمعدل 10 مرات أسرع مقارنة بأحدث SCNN، بينما لا يزال يحقق أداءً مقنعًا في جميع المقاييس. رمزنا متاح على https://github.com/cardwing/Codes-for-Lane-Detection.