Split-and-Bridge: تعلم تدريجي للتصنيف القابل للتكيف داخل شبكة عصبية واحدة

تُعد التعلّم المستمر مشكلة رئيسية في مجتمع التعلّم العميق، حيث يكمن التحدي الأساسي في كيفية تعلّم سلسلة من المهام الجديدة التي تصل تدريجيًا دون نسيان المعرفة المكتسبة من المهام السابقة. وقد تم إطلاق هذا المجال من خلال العمل "التعلّم دون نسيان" (LwF)، حيث أشارت العديد من الدراسات اللاحقة إلى فعالية تقنية تحويل المعرفة (Knowledge Distillation) في الحفاظ على المعرفة القديمة، وبالتالي فإنها تستخدم غالبًا تسمية ناعمة (soft label) للمهمة القديمة، أي ما يُعرف بخسارة تحويل المعرفة (KD loss)، إلى جانب تسمية فئة (class label) للمهمة الجديدة، أي ما يُعرف بخسارة التباديل الصريحة (CE loss)، لتكوين خسارة مركبة واحدة لشبكة عصبية واحدة. لكن هذه الطريقة تعاني من تأثير خسارة التباديل الصريحة (CE loss) على تعلّم المعرفة، حيث غالبًا ما تؤثر خسارة تحويل المعرفة (KD loss) بشكل أقوى على الدالة الهدف عند حدوث تنافس بينهما داخل شبكة عصبية واحدة. وقد يُعد هذا مشكلة جوهرية خاصة في السيناريوهات التصنيفية التدريجية (class incremental)، حيث لا يمكن اكتساب المعرفة عبر المهام، وكذلك المعرفة داخل المهمة الجديدة، إلا من خلال خسارة التباديل الصريحة (CE loss) بسبب وجود تصنيف وحيد موحد. في هذه الورقة، نقترح منهجًا جديدًا للتعلّم المستمر يُسمى "Split-and-Bridge"، الذي يتمكن من معالجة المشكلة المذكورة بنجاح من خلال تقسيم جزئي للشبكة العصبية إلى قسمين، بحيث يتم تدريب القسم الجديد منفصلًا عن القسم القديم، ثم إعادة ربطهما لتمكين التعلّم المشترك بين المهام. وقد أظهر التحليل التجريبي الشامل لنموذجنا أن أداء "Split-and-Bridge" يتفوق على أفضل الحلول الحالية في مجال التعلّم المستمر القائم على تحويل المعرفة.