HyperAIHyperAI

Command Palette

Search for a command to run...

Réinterpréter la Softmax avec la Entropie Croisée : Classificateur de Réseau de Neurones comme Estimateur d'Information Mutuelle

Zhenyue Qin Dongwoo Kim Tom Gedeon

Résumé

L’information mutuelle est largement utilisée pour apprendre des représentations latentes des observations, tandis que son implication dans les réseaux de neurones pour la classification reste à mieux expliquer. Nous montrons qu’optimiser les paramètres d’un réseau de neurones pour la classification à l’aide de la fonction de perte de cross-entropie avec softmax est équivalent à maximiser l’information mutuelle entre les entrées et les étiquettes sous l’hypothèse de données équilibrées. À travers des expériences menées sur des jeux de données synthétiques et réels, nous démontrons que la cross-entropie avec softmax permet d’estimer de manière approximative l’information mutuelle. Lorsqu’elle est appliquée à la classification d’images, cette relation permet d’approximer l’information mutuelle ponctuelle entre une image d’entrée et une étiquette sans modifier la structure du réseau. À cet effet, nous proposons infoCAM, une carte d’activation de classe informative, qui met en évidence les régions de l’image d’entrée les plus pertinentes par rapport à une étiquette donnée en se basant sur les différences d’information. Cette carte d’activation permet de localiser l’objet cible dans l’image d’entrée. À l’aide d’expériences sur une tâche de localisation d’objets semi-supervisée menées sur deux jeux de données réels, nous évaluons l’efficacité de notre approche fondée sur la théorie de l’information.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp