إنتروبيا المعلوماتكمية مناسبة لقياس كمية المعلومات، اقترحها شانون في عام 1948. وقد استعار مفهوم الإنتروبيا في الديناميكا الحرارية، وأطلق عليها متوسط كمية المعلومات بعد استبعاد التكرار في إنتروبيا المعلومات، وأعطى التعبير الرياضي ذي الصلة.

ثلاث خصائص لانتروبيا المعلومات

• الرتابة: كلما زاد احتمال وقوع حدث ما، كلما انخفضت إنتروبيا المعلومات التي يحملها. ومن الأمثلة المتطرفة على ذلك "شروق الشمس من الشرق"، وهو حدث حتمي وبالتالي لا يحمل أي معلومات. ومن منظور نظرية المعلومات، يمكن اعتبار أن هذه الجملة لا يوجد فيها أي شك؛
• غير سلبية: لا يمكن أن تكون إنتروبيا المعلومات سلبية. تعني إنتروبيا المعلومات السلبية أنه بعد تعلم معلومة معينة فإن عدم التأكد منها سوف يزداد، وهو أمر غير منطقي.
• الإضافة: يمكن التعبير عن مقياس عدم اليقين الإجمالي للأحداث العشوائية المتعددة التي تحدث في وقت واحد على أنه مجموع مقاييس عدم اليقين لكل حدث.

مراجع

【1】ما هي إنتروبيا المعلومات؟ (تشيهو)