LumiNet: الجانب المشرق لاستخلاص المعرفة الحسية

في الأدبيات المتعلقة بتحويل المعرفة (knowledge distillation)، سادت الطرق القائمة على السمات (feature-based methods) بفضل قدرتها الفعّالة على استغلال النماذج المعلّمة الكبيرة بشكل واسع. في المقابل، تُظهر الطرق القائمة على الـ logits (logit-based approaches)، التي تهدف إلى استخلاص "المعرفة المظلمة" (dark knowledge) من النماذج المعلّمة، عادةً أداءً أقل مقارنة بالطرق القائمة على السمات. ولسد هذه الفجوة، نقدّم LumiNet، وهو خوارزمية جديدة لتحويل المعرفة مصممة لتعزيز تطبيقات تحويل المعرفة القائمة على الـ logits. نُقدّم مفهوم "الإدراك" (perception)، بهدف مواءمة الـ logits وفقًا لقدرة النموذج على تمثيل البيانات. ويُعالج هذا المفهوم مشكلة التفوق المفرط (overconfidence) في الطرق القائمة على الـ logits، ويُقدّم في الوقت نفسه طريقة مبتكرة لاستخلاص المعرفة من النموذج المعلّم. حيث يتم إعادة بناء الـ logits للعينة/العينات من خلال أخذ العلاقات بينها وبين العينات الأخرى في الحزمة (batch) بعين الاعتبار. وقد أظهرت LumiNet أداءً متميزًا في معايير مثل CIFAR-100 وImageNet وMSCOCO، حيث تفوقت على الطرق البارزة القائمة على السمات، مثل التفوق بنسبة 1.5% مقارنة بـ KD باستخدام ResNet18، وبنسبة 2.05% مقارنة بـ MobileNetV2 على ImageNet.