أوقع

Dropout هي تقنية تنظيم تستخدم في تدريب الشبكات العصبية، اقترحها جيفري هينتون وفريقه في عام 2012. نتائج الورقة ذات الصلة هيتحسين الشبكات العصبية عن طريق منع التكيف المشترك لكاشفات الميزاتبالإضافة إلى ذلك، هينتون وآخرون. نُشرت ورقة بحثية في عام 2012 بعنوانتصنيف ImageNet باستخدام الشبكات العصبية التلافيفية العميقةتم استخدام خوارزمية Dropout أيضًا في "، والتي كان لها أيضًا تأثير عميق على مجال التعلم العميق.

الفكرة الأساسية لـ Dropout هي التخلص بشكل عشوائي (إزالة مؤقتة) من بعض الخلايا العصبية في الشبكة واتصالاتها أثناء عملية التدريب لمنع النموذج من الإفراط في التجهيز. بهذه الطريقة، تجبر Dropout كل خلية عصبية في الشبكة على أن تكون مستقلة عن الخلايا العصبية المحددة الأخرى، مما يعزز قدرة النموذج على التعميم.

التنفيذ الرئيسي لـ Dropout هو أنه في كل تكرار تدريبي، يتم تعيين كل خلية عصبية على الصفر باحتمالية معينة (عادةً ما تكون معلمة فائقة)، بحيث يمكن إنشاء هياكل شبكة مختلفة متعددة بشكل عشوائي. في وقت الاختبار، يتم تنشيط جميع الخلايا العصبية، ولكن يتم تعديل أوزانها بناءً على احتمالية الاحتفاظ بها أثناء التدريب. يمكن اعتبار هذا النهج بمثابة حساب متوسط نماذج شبكات متعددة مختلفة أثناء التدريب، واستخدام نسخة تقريبية من هذا النموذج المتوسط أثناء الاختبار.

عندما تم اقتراح الخوارزمية لأول مرة، تم تطبيقها بشكل أساسي على الشبكات العصبية التغذية الأمامية، ولكن الأبحاث اللاحقة وسعت نطاق تطبيقها لتطبيقها أيضًا على الشبكات العصبية التلافيفية (CNN) والشبكات العصبية المتكررة (RNN). لقد ثبت أن تقنية التسرب فعالة في مجموعة متنوعة من المهام، بما في ذلك التعرف البصري، والتعرف على الكلام، وتصنيف المستندات، وعلم الأحياء الحسابي، وحققت نتائج متطورة في العديد من مجموعات البيانات المعيارية.