HyperAIHyperAI

Command Palette

Search for a command to run...

LumiNet: الجانب المشرق لاستخلاص المعرفة الحسية

Md. Ismail Hossain M M Lutfe Elahi Sameera Ramasinghe Ali Cheraghian Fuad Rahman Nabeel Mohammed Shafin Rahman

الملخص

في الأدبيات المتعلقة بتحويل المعرفة (knowledge distillation)، سادت الطرق القائمة على السمات (feature-based methods) بفضل قدرتها الفعّالة على استغلال النماذج المعلّمة الكبيرة بشكل واسع. في المقابل، تُظهر الطرق القائمة على الـ logits (logit-based approaches)، التي تهدف إلى استخلاص "المعرفة المظلمة" (dark knowledge) من النماذج المعلّمة، عادةً أداءً أقل مقارنة بالطرق القائمة على السمات. ولسد هذه الفجوة، نقدّم LumiNet، وهو خوارزمية جديدة لتحويل المعرفة مصممة لتعزيز تطبيقات تحويل المعرفة القائمة على الـ logits. نُقدّم مفهوم "الإدراك" (perception)، بهدف مواءمة الـ logits وفقًا لقدرة النموذج على تمثيل البيانات. ويُعالج هذا المفهوم مشكلة التفوق المفرط (overconfidence) في الطرق القائمة على الـ logits، ويُقدّم في الوقت نفسه طريقة مبتكرة لاستخلاص المعرفة من النموذج المعلّم. حيث يتم إعادة بناء الـ logits للعينة/العينات من خلال أخذ العلاقات بينها وبين العينات الأخرى في الحزمة (batch) بعين الاعتبار. وقد أظهرت LumiNet أداءً متميزًا في معايير مثل CIFAR-100 وImageNet وMSCOCO، حيث تفوقت على الطرق البارزة القائمة على السمات، مثل التفوق بنسبة 1.5% مقارنة بـ KD باستخدام ResNet18، وبنسبة 2.05% مقارنة بـ MobileNetV2 على ImageNet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp