InformationsentropieEine zur Messung der Informationsmenge geeignete Größe, die Shannon 1948 vorgeschlagen hat. Dabei wurde das Konzept der Entropie aus der Thermodynamik übernommen, die durchschnittliche Informationsmenge nach Ausschluss von Redundanzen in der Information als Informationsentropie bezeichnet und der entsprechende mathematische Ausdruck angegeben.

Drei Eigenschaften der Informationsentropie

• Monotonie: Je höher die Wahrscheinlichkeit eines Ereignisses, desto geringer ist die damit verbundene Informationsentropie. Ein extremes Beispiel ist „die Sonne geht im Osten auf“, was ein deterministisches Ereignis ist und daher keinerlei Informationen enthält. Aus informationstheoretischer Sicht kann davon ausgegangen werden, dass dieser Satz keine Unsicherheit aufweist.
• Nicht-Negativität: Informationsentropie kann nicht negativ sein. Negative Informationsentropie bedeutet, dass nach dem Erlernen einer bestimmten Information deren Unsicherheit zunimmt, was unlogisch ist.
• Additivität: Das Gesamtunsicherheitsmaß mehrerer gleichzeitig auftretender Zufallsereignisse kann als Summe der Unsicherheitsmaße jedes einzelnen Ereignisses ausgedrückt werden.

Verweise

【1】Was ist Informationsentropie? (Zhihu)