تeregularizing خسارة الانتروبيا المتقاطعة عبر الانتروبيا الدنيا والتباعد K-L

أقدم دالتين جديدتين للخسارة في تصنيف التعلم العميق. توسّع هاتان دالتا الخسارة القياسيتان اللتان تعتمدان على الإنتروبيا المتقاطعة من خلال تنظيمهما باستخدام مصطلحات الإنتروبيا الدنيا والتباعد كولباك-لايبلر (K-L). تُعرف الدالة الأولى من بين الدالتين الجديدتين باسم خسارة الإنتروبيا المختلطة (اختصارًا: MIX-ENT)، بينما تُعرف الثانية باسم خسارة الإنتروبيا المتقاطعة مع التنظيم بالإنتروبيا الدنيا (اختصارًا: MIN-ENT). تقوم دالة MIX-ENT بتطبيق منظم يمكن إظهار أنه يعادل مجموع مصطلح الإنتروبيا الدنيا ومصطلح التباعد كولباك-لايبلر. ومع ذلك، يجب أن نلاحظ أن مصطلح التباعد كولباك-لايبلر هنا يختلف عن ذلك الموجود في دالة الخسارة القياسية للإنتروبيا المتقاطعة، حيث يتم تبادل أدوار احتمالية الهدف واحتمالية الفرضية. أما دالة MIN-ENT فتضيف ببساطة منظم الإنتروبيا الدنيا إلى دالة الخسارة القياسية للإنتروبيا المتقاطعة. في كلتا الدالتين MIX-ENT وMIN-ENT، يقوم المنظم بالإنتروبيا الدنيا بتصغير الإنتروبيا لتوزيع احتمالية الفرضية الذي يخرجه الشبكة العصبية. أظهرت التجارب على مجموعة بيانات EMNIST-Letters أن تنفيذي لداليتي MIX-ENT وMIN-ENT أدى إلى رفع موقع نموذج VGG من المركز الثالث السابق في قائمة أفضل النماذج على موقع PapersWithCode إلى الوصول إلى المركز الثاني في القائمة، مما يتفوق على نموذج Spinal-VGG. تحديدًا، عند استخدام الإنتروبيا المتقاطعة القياسية، يصل نموذج VGG إلى دقة تصنيف قدرها 95.86% بينما يصل نموذج Spinal-VGG إلى 95.88%. أما عند استخدام نموذج VGG (بدون Spinal-VGG)، فقد حققنا باستخدام MIN-ENT نسبة دقة قدرها 95.933%، بينما حققنا باستخدام MIX-ENT نسبة دقة قدرها 95.927%. يمكن الحصول على النماذج المدربة مسبقًا لكلتا الدالتين MIX-ENT وMIN-ENT من الرابط التالي: https://github.com/rahmanoladi/minimum entropy project.