تحسين تكاليف الانتباه والتحكم المعرفي باستخدام الهياكل الطبقية الزمنية

الإطار الحالي لتعلم التدعيم يركز حصريًا على الأداء، غالبًا على حساب الكفاءة. في المقابل، تحقق الأنظمة الحيوية أداءً متميزًا مع تحسين استهلاك الطاقة الحسابية وتردد اتخاذ القرار في آنٍ واحد. نقترح عملية اتخاذ القرار المحدودة في سلسلة ماركوف (DB-MDP)، التي تحد من عدد القرارات والطاقة الحسابية المتاحة للوكلاء في بيئات تعلم التدعيم. تُظهر تجاربنا أن الخوارزميات الحالية لتعلم التدعيم تواجه صعوبات داخل هذا الإطار، مما يؤدي إلى الفشل أو أداءً دون المستوى الأمثل. ولحل هذه المشكلة، نقدّم بنية زمنية متعددة الطبقات (TLA) مستوحاة من الطبيعة، تسمح للوكلاء بإدارة التكاليف الحسابية عبر طبقتين مختلفتين من حيث المدى الزمني ومتطلبات الطاقة. تحقق TLA أداءً مثاليًا في البيئات ذات القيود على عدد القرارات، وفي البيئات ذات التحكم المستمر، تُحقق أداءً يوازي أفضل الأداءات الحالية مع استخدام جزء ضئيل من التكلفة الحسابية. مقارنةً بالخوارزميات الحالية لتعلم التدعيم التي تركز فقط على الأداء، يقلل نهجنا بشكل كبير من استهلاك الطاقة الحسابية مع الحفاظ على الأداء. تُشكّل هذه النتائج معيارًا مرجعيًا وتفتح الطريق أمام أبحاث مستقبلية في مجال التحكم المُدرك للطاقة والزمن.