Réinterpréter la Softmax avec la Entropie Croisée : Classificateur de Réseau de Neurones comme Estimateur d'Information Mutuelle

L’information mutuelle est largement utilisée pour apprendre des représentations latentes des observations, tandis que son implication dans les réseaux de neurones pour la classification reste à mieux expliquer. Nous montrons qu’optimiser les paramètres d’un réseau de neurones pour la classification à l’aide de la fonction de perte de cross-entropie avec softmax est équivalent à maximiser l’information mutuelle entre les entrées et les étiquettes sous l’hypothèse de données équilibrées. À travers des expériences menées sur des jeux de données synthétiques et réels, nous démontrons que la cross-entropie avec softmax permet d’estimer de manière approximative l’information mutuelle. Lorsqu’elle est appliquée à la classification d’images, cette relation permet d’approximer l’information mutuelle ponctuelle entre une image d’entrée et une étiquette sans modifier la structure du réseau. À cet effet, nous proposons infoCAM, une carte d’activation de classe informative, qui met en évidence les régions de l’image d’entrée les plus pertinentes par rapport à une étiquette donnée en se basant sur les différences d’information. Cette carte d’activation permet de localiser l’objet cible dans l’image d’entrée. À l’aide d’expériences sur une tâche de localisation d’objets semi-supervisée menées sur deux jeux de données réels, nous évaluons l’efficacité de notre approche fondée sur la théorie de l’information.