إعادة التفكير في Softmax مع Cross-Entropy: تصنيف الشبكة العصبية كمُقدِّر لتقدير المعلومات المتبادلة

يُستخدم المعلومات المتبادلة على نطاق واسع لاستخلاص التمثيلات الكامنة للملاحظات، في حين أن تأثيرها في الشبكات العصبية للتصنيف ما زال يحتاج إلى تفسير أكثر دقة. نُظهر أن تحسين معاملات الشبكات العصبية للتصنيف باستخدام الدالة المفقودة لـ softmax مع التباعد العشوائي يعادل تكبير المعلومات المتبادلة بين المدخلات والعلامات تحت افتراض توزيع متوازن للبيانات. ومن خلال تجارب على مجموعات بيانات اصطناعية وحقيقية، نُظهر أن دالة التباعد العشوائي لـ softmax يمكنها تقدير المعلومات المتبادلة تقريبًا. عند تطبيقها على تصنيف الصور، يُسهم هذا العلاقة في تقدير المعلومات المتبادلة النقطية بين صورة مدخلة وعلامة معينة دون الحاجة إلى تعديل بنية الشبكة. ولتحقيق ذلك، نقترح طريقة تُسمى infoCAM، أي خريطة تنشيط الفئة المفيدة، والتي تُبرز المناطق في الصورة المدخلة التي تكون أكثر ارتباطًا بعلامة معينة بناءً على الفروق في المعلومات. تساعد خريطة التنشيط في تحديد موقع الكائن المستهدف داخل الصورة المدخلة. وتم تقييم فعالية نهجنا القائم على النظرية المعلوماتية من خلال تجارب على مهمة تحديد موقع الكائن شبه المُعلَّمة باستخدام مجموعتي بيانات واقعيتين.