Command Palette
Search for a command to run...
من الإنتروبيا إلى الإيبيليكسيتي: إعادة التفكير في المعلومات للذكاء المحدود حسابيًا
من الإنتروبيا إلى الإيبيليكسيتي: إعادة التفكير في المعلومات للذكاء المحدود حسابيًا
Marc Finzi Shikai Qiu Yiding Jiang Pavel Izmailov J. Zico Kolter Andrew Gordon Wilson
الملخص
هل يمكننا استخلاص معلومات أكثر من تلك التي كانت موجودة في عملية التوليد الأصلية؟ وهل يمكن بناء معلومات جديدة وفعّالة من مجرد تطبيق تحولات محددة على البيانات المتاحة؟ وهل يمكن تقييم المحتوى القابل للتعلّم في البيانات دون النظر إلى المهمة التالية؟ تُظهر نظرية شانون للمعلومات وتعقيد كولموغوروف أن هذه الأسئلة تُترك دون إجابة كافية، جزئيًا لأنها تفترض مراقبين يمتلكون قدرة حسابية غير محدودة، وتفشل في استهداف المحتوى المعلوماتي المفيد. في هذا العمل، نُحدد ونُقدّم أمثلة على ثلاث مفارقات تبدو غريبة في نظرية المعلومات: (1) لا يمكن زيادة المعلومات من خلال تحولات محددة؛ (2) لا تعتمد المعلومات على ترتيب البيانات؛ (3) نمذجة الاحتمالات هي مجرد مطابقة لتوزيع البيانات. ولإيضاح التوتر بين هذه النتائج والعملية الحديثة، ولقياس قيمة البيانات، نقدّم مفهوم "الإبيبليكسية" (epiplexity)، وهو تعميم رياضي للمعلومات يعكس ما يمكن للمراقبين المحدودين حسابيًا استخلاصه من البيانات. تُركّز الإبيبليكسية على المحتوى البنائي في البيانات، مع استبعاد الانتروبيا المحدودة زمنيًا، وهي المحتوى العشوائي غير القابل للتنبؤ، مثل ما يُنتج من مولدات الأرقام الزائفة أو الأنظمة الديناميكية الفوضوية. وباستخدام هذه المفاهيم، نُظهر كيف يمكن إنشاء معلومات من خلال الحساب، وكيف تعتمد هذه المعلومات على ترتيب البيانات، ونُبرهن كيف يمكن لنمذجة الاحتمالات أن تُنتج برامج أكثر تعقيدًا من تلك الموجودة في عملية توليد البيانات الأصلية. كما نقدّم إجراءات عملية لتقدير الإبيبليكسية، ونُظهر أنها تُميّز بين مصادر البيانات المختلفة، وتتماشى مع الأداء في المهام اللاحقة، وتساعد في التعرّف على تدخلات في المجموعات البيانات التي تُحسّن القدرة على التعميم خارج نطاق التوزيع (out-of-distribution). على عكس مبادئ اختيار النماذج، تُوفّر الإبيبليكسية أساسًا نظريًا لاختيار البيانات، وتُرشد إلى كيفية اختيار أو إنتاج أو تحويل البيانات لصالح أنظمة التعلّم.