PackNet: إضافة مهام متعددة إلى شبكة واحدة من خلال تقليم تكراري

يقدم هذا البحث طريقة لإضافة مهام متعددة إلى شبكة عصبية عميقة واحدة مع تجنب النسيان الكارثي (catastrophic forgetting). مستوحى من تقنيات تقليم الشبكات (network pruning)، نستغل الفائض في شبكات العمق الكبيرة لتحرير المعلمات التي يمكن استخدامها بعد ذلك لتعلم مهام جديدة. من خلال أداء التقليم التكراري وإعادة تدريب الشبكة، نتمكن من تسلسُل "حزم" المهام المتعددة داخل شبكة واحدة مع ضمان انخفاض بسيط في الأداء وزيادة طفيفة في حجم التخزين. على عكس الأعمال السابقة التي تستعمل خسائر وكيلة للحفاظ على الدقة في المهام القديمة، فإننا نقوم دائمًا بتحسين الأداء للمهم الحالي. نجري تجارب واسعة على مجموعة متنوعة من هياكل الشبكات وأكبر قواعد البيانات، ونلاحظ مقاومة أفضل بكثير ضد النسيان الكارثي مقارنة بالأعمال السابقة. وبشكل خاص، نحن قادرون على إضافة ثلاث مهام تصنيف دقيقة إلى شبكة VGG-16 مدربة على ImageNet وتحقيق دقة قريبة من تلك التي يتم الحصول عليها من شبكات مدربة بشكل منفصل لكل مهم. الرمز البرمجي متاح على الرابط: https://github.com/arunmallya/packnet