情報エントロピー1948年にシャノンによって提案された、情報の大きさを測るのに適した量。熱力学からエントロピーの概念を借用し、冗長情報を除いた平均情報量をエントロピーと呼び、関連する数学的表現が与えられた。

情報エントロピーの 3 つの性質

• 単調性: 事象が発生する確率が高くなるほど、その事象が運ぶ情報エントロピーは低くなります。極端な例は、「太陽が東から昇る」です。これは決定論的な事象であるため、情報を持ちません。情報理論の観点からは、この文には不確実性はないと考えられます。
• 非負性: 情報エントロピーが負であってはなりません。これは、特定の情報を知ることで不確実性が増大することを意味し、これは非論理的です。
• 相加性: 同時に発生する複数のランダムなイベントの不確実性の尺度の合計は、各イベントの不確実性の尺度の合計として表すことができます。

参考文献

【1】情報エントロピーとは何ですか? （志胡）