信息熵 Information entropy

信息熵适用于度量信息量规模的一个量，由香农于 1948 年提出，其借用了热力学中熵的概念，将信息中排除了冗余后的平均信息量称为信息熵，并给出了相关的数学表达式。

单调性：事件发生的概率越高，其携带的信息熵越低，极端案例便是「太阳从东方升起」，由于是确定性事件，因此不携带任何信息量。从信息论的角度，便可认为这句话无不确定性；
非负性：信息熵不能为负，负的信息熵表示得知某个信息后，会增加其不确定性，这是不合逻辑的；
累加性：多随机事件同时发生的总不确定性量度，可表示为各事件不确定性量度的和。