توسيع شبكات MLP مع الإفلاتات، التطبيع الدُفعة، والروابط القافزة

الشبكة العصبية متعددة الطبقات (Multilayer Perceptron - MLP) تتكون عادةً من طبقات متعددة مترابطة بالكامل مع وظائف تنشيط غير خطية. قد تم اقتراح العديد من الطرق لتحسين أدائها (مثل التقارب الأسرع، حدود تقارب أفضل، إلخ). ومع ذلك، فإن البحوث تفتقر إلى طرق منهجية لاختبار هذه الطرق. قمنا بتجربة هياكل مختلفة للشبكات العصبية متعددة الطبقات من خلال إجراء التجارب على مجموعات بيانات العمر والجنس. أظهرنا بشكل تجريبي أن تبييض المدخلات قبل كل طبقة خطية وإضافة اتصالات القفز (skip connections) يمكن أن يؤدي إلى أداء أفضل في الهيكل المقترح للشبكة العصبية متعددة الطبقات. نظرًا لأن عملية التبييض تشمل الإفلات (dropouts)، يمكن استخدامها أيضًا لتقريب الاستدلال البيزي (Bayesian inference). لقد جعلنا كودنا مفتوح المصدر وأصدرنا النماذج والصور Docker في https://github.com/tae898/age-gender/