Régularisation de la perte d'entropie croisée par l'entropie minimale et la divergence K-L

Je présente deux nouvelles fonctions de perte pour la classification dans l'apprentissage profond. Ces deux fonctions de perte étendent la fonction de perte d'entropie croisée standard en l'ajustant avec des termes d'entropie minimale et de divergence de Kullback-Leibler (K-L). La première des deux nouvelles fonctions de perte est appelée fonction de perte d'entropie mixte (MIX-ENT pour abréger), tandis que la seconde est appelée fonction de perte d'entropie croisée régularisée par l'entropie minimale (MIN-ENT pour abréger). La fonction MIX-ENT introduit un régulariseur qui peut être démontré comme équivalent à la somme d'un terme d'entropie minimale et d'un terme de divergence K-L. Il convient cependant de noter que le terme de divergence K-L ici est différent de celui utilisé dans la fonction de perte d'entropie croisée standard, car il inverse les rôles des probabilités cible et hypothétique. La fonction MIN-ENT ajoute simplement un régulariseur d'entropie minimale à la fonction de perte d'entropie croisée standard. Dans les deux cas, MIX-ENT et MIN-ENT, le régulariseur d'entropie minimale minimise l'entropie de la distribution de probabilité hypothétique produite par le réseau neuronal. Les expérimentations sur le jeu de données EMNIST-Letters montrent que mon implémentation des fonctions MIX-ENT et MIN-ENT permet au modèle VGG d'améliorer sa position précédente (3e) sur le classement PapersWithCode pour atteindre la 2e position, surpassant ainsi le modèle Spinal-VGG. Plus précisément, en utilisant l'entropie croisée standard, VGG atteint une précision de classification de 95,86 % tandis que Spinal-VGG atteint 95,88 %. En revanche, en utilisant notre MIN-ENT (sans Spinal-VGG), nous avons obtenu une précision de 95,933 %, tandis que notre MIX-ENT a atteint une précision de 95,927 %. Les modèles pré-entrainés pour les fonctions MIX-ENT et MIN-ENT sont disponibles à l'adresse suivante : https://github.com/rahmanoladi/minimum entropy project.