Entropie de l'informationUne quantité appropriée pour mesurer la quantité d'information, proposée par Shannon en 1948. Elle a emprunté le concept d'entropie en thermodynamique, appelé la quantité moyenne d'information après avoir exclu la redondance dans l'information entropie de l'information, et a donné l'expression mathématique correspondante.

Trois propriétés de l'entropie de l'information

• Monotonie : Plus la probabilité d’un événement est élevée, plus l’entropie d’information qu’il véhicule est faible. Un exemple extrême est « le soleil se lève à l’est », qui est un événement déterministe et ne porte donc aucune information. Du point de vue de la théorie de l’information, on peut considérer que cette phrase ne comporte aucune incertitude ;
• Non-négativité : L’entropie de l’information ne peut pas être négative. L'entropie d'information négative signifie qu'après avoir appris une certaine information, son incertitude augmentera, ce qui est illogique.
• Additivité : La mesure d’incertitude totale de plusieurs événements aléatoires se produisant simultanément peut être exprimée comme la somme des mesures d’incertitude de chaque événement.

Références

【1】Qu'est-ce que l'entropie de l'information ? (Zhihu)