HyperAI超神经

정보 엔트로피1948년 섀넌이 제안한 정보의 양을 측정하는 데 적합한 양. 열역학의 엔트로피 개념을 빌려, 정보에서 중복을 제외한 평균 정보량을 정보 엔트로피라고 부르고, 이에 대한 수학적 표현을 제시했다.

단조성: 사건의 확률이 높을수록 해당 사건이 지닌 정보 엔트로피는 낮아진다. 극단적인 예로는 "해가 동쪽에서 뜬다"는 것이 있는데, 이는 결정론적 사건이므로 아무런 정보를 담고 있지 않습니다. 정보이론의 관점에서 볼 때, 이 문장은 불확실성이 없다고 볼 수 있다.
비음성성: 정보 엔트로피는 음수일 수 없습니다. 부정적인 정보 엔트로피는 특정 정보를 학습한 후 불확실성이 증가한다는 것을 의미하는데, 이는 비논리적입니다.
가산성: 동시에 발생하는 여러 무작위 사건의 총 불확실성 측정값은 각 사건의 불확실성 측정값의 합으로 표현할 수 있습니다.