تتجه أنظمة البحث العميقة، والذكاء الاصطناعي الوظيفي (Agentic AI) التي تحل المهام المعقدة متعددة الخطوات من خلال تنسيق التفكير، والبحث عبر الإنترنت المفتوح، وملفات المستخدم، واستخدام الأدوات، نحو توزيعات هرمية تضم مخططًا (Planner) ومحققًا (Coordinator) ونفّذة (Executors). وفي الممارسة العملية، لا يزال تدريب المجموعات الكاملة من هذه الأنظمة بشكل متكامل (end-to-end) أمرًا غير عملي، لذلك يُدرّس معظم العمل مخططًا واحدًا فقط متصلًا بالأدوات الأساسية مثل البحث، والتصفح، والبرمجة. ورغم أن التدريب الموجه بالبيانات (SFT) يضمن الالتزام بالبروتوكولات، إلا أنه يعاني من انحيازات التقليد (imitation bias) وانحياز التعرض (exposure bias)، كما أنه لا يستغل بشكل كافٍ التغذية الراجعة من البيئة. أما طرق التوافق المبني على التفضيلات مثل DPO، فهي تعتمد على الهياكل (schema) والمقاييس البديلة (proxy)، وتعمل خارج النموذج (off-policy)، وتفتقر إلى القوة في توزيع المُكافآت على المدى الطويل (long-horizon credit assignment) والتفاوض بين أهداف متعددة. وتشكل الاعتماد على نقاط قرار بشرية ومهارات فرعية محددة مسبقًا من خلال تصميم الهياكل ومقارنات مُعلّمة نقطة ضعف إضافية في كلا النهجين SFT وDPO.في المقابل، يتوافق التعلم بالتعزيز (Reinforcement Learning - RL) مع أبحاث التفاعل الأدواتي في بيئة مغلقة (closed-loop)، من خلال تحسين السياسات على مستوى المسار (trajectory-level policies)، ما يمكّن من استكشاف جديد، وسلوك استعادة (recovery behaviors)، وتوزيع مبرر للمكافآت، ويقلل من الاعتماد على هذه المُعطيات البشرية (human priors) وانحيازات المُقيّمين.هذا الاستعراض، إلى حد علمنا، هو الأول المُكرّس بشكل خاص لأسس التعلم بالتعزيز (RL) في أنظمة البحث العميقة. ويُنظّم هذا العمل، بعد ظهور DeepSeek-R1، على ثلاث محاور رئيسية: (أ) تصنيع وتدقيق البيانات؛ (ب) طرق التعلم بالتعزيز للبحث الوظيفي، والتي تشمل الاستقرار، وكفاءة العينات، ومعالجة السياقات الطويلة، وتصميم المكافآت وتوزيعها، والتحسين متعدد الأهداف، والتكامل متعدد الوسائط؛ (ج) أنظمة وإطارات تدريب التعلم بالتعزيز الوظيفي. كما نتناول في هذا الاستعراض بنية الوكلاء وتنسيقهم، بالإضافة إلى تقييم الأداء والاختبارات (benchmarks)، بما في ذلك مهام حديثة مثل الاستجابة للأسئلة (QA)، والأسئلة المرئية (VQA)، والتركيب النصي الطويل (long-form synthesis)، والمهام المرتبطة بمجالات محددة والتفاعل مع الأدوات. ونستخلص الأنماط المتكررة، ونكشف عن العقد الضعيفة في البنية التحتية، ونقدّم توجيهات عملية لتدريب وكلاء بحث عميقة قادرين على الأداء الموثوق والشفافية باستخدام التعلم بالتعزيز.