HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة التفكير في Softmax مع Cross-Entropy: تصنيف الشبكة العصبية كمُقدِّر لتقدير المعلومات المتبادلة

Zhenyue Qin Dongwoo Kim Tom Gedeon

الملخص

يُستخدم المعلومات المتبادلة على نطاق واسع لاستخلاص التمثيلات الكامنة للملاحظات، في حين أن تأثيرها في الشبكات العصبية للتصنيف ما زال يحتاج إلى تفسير أكثر دقة. نُظهر أن تحسين معاملات الشبكات العصبية للتصنيف باستخدام الدالة المفقودة لـ softmax مع التباعد العشوائي يعادل تكبير المعلومات المتبادلة بين المدخلات والعلامات تحت افتراض توزيع متوازن للبيانات. ومن خلال تجارب على مجموعات بيانات اصطناعية وحقيقية، نُظهر أن دالة التباعد العشوائي لـ softmax يمكنها تقدير المعلومات المتبادلة تقريبًا. عند تطبيقها على تصنيف الصور، يُسهم هذا العلاقة في تقدير المعلومات المتبادلة النقطية بين صورة مدخلة وعلامة معينة دون الحاجة إلى تعديل بنية الشبكة. ولتحقيق ذلك، نقترح طريقة تُسمى infoCAM، أي خريطة تنشيط الفئة المفيدة، والتي تُبرز المناطق في الصورة المدخلة التي تكون أكثر ارتباطًا بعلامة معينة بناءً على الفروق في المعلومات. تساعد خريطة التنشيط في تحديد موقع الكائن المستهدف داخل الصورة المدخلة. وتم تقييم فعالية نهجنا القائم على النظرية المعلوماتية من خلال تجارب على مهمة تحديد موقع الكائن شبه المُعلَّمة باستخدام مجموعتي بيانات واقعيتين.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp