HyperAIHyperAI

Command Palette

Search for a command to run...

دينامو إنفيديا يقلل اختناقات التوليد في التعلم المعزز

أعلنت شركة إنفيديا عبر مدونة تقنية متخصصة عن دور منصّة Dynamo في معالجة اختناقات توليد العيّنات (rollouts) أثناء تدريب نماذج الذكاء الاصطناعي بالتعلّم المعزّز، في خطوة تستهدف تحويل قدرات الحوسبة الموزّعة إلى عيّنات تدريب مقبولة وتقصير زمن الدورات التدريبية. وتقوم آلية التعلّم المعزّز على توليد العاملين لسلاسل من مخرجات النموذج والإجراءات والتفاعلات مع البيئة، ثم تقييمها ومنحها مكافآت، قبل تحديث أوزان النموذج وإعادة توزيعها على العاملين لجولة جديدة. ومع توسّع التدريب، تبرز ثلاث قيود رئيسية: زمن إنجاز العيّنة الواحدة الذي يتحدّد بأبطأ عيّنة مطلوبة، وإعادة معالجة السياق المتكرّر عند بدء محاولات متعدّدة بتعليمات أو أوصاف مهام أو سياق برمجي متطابق، إضافة إلى حداثة الأوزان وضرورة وصولها إلى العاملين وفق متطلبات الخوارزمية. وتتوزّع المسؤوليات في هذه المنظومة بشكل صريح؛ إذ يتولّى إطار التعلّم المعزّز التحسين والمكافآت والبيئات ونقاط الحفظ وقبول العيّنات، بينما تتولّى Dynamo التوجيه وإدارة العاملين وضوابط الخدمة والقياس عن بُعد، ويتولّى محرّك الاستدلال التوليد وتطبيق الأوزان المحدّثة، في حين تتخصّص ModelExpress في توزيع أوزان النموذج والملحقات عبر التكاملات المدعومة. ولمعالجة إعادة الحساب المتكرّر، يعتمد التوجيه المدرك لذاكرة القيم (KV) على إحالة الطلبات المتشابهة إلى عامل خزّن البادئة مسبقاً، مع موازنة ذلك مع حمولة العاملين لتجنّب تكوّن طوابير تؤخّر الجولة التالية. أما ModelExpress فتعمل على تقليل الكلفة المتكرّرة لتوزيع الأوزان عبر إعادة استخدام أوزان موجودة أصلاً في العنقود بدلاً من تحميلها من التخزين البعيد، إذ تنسخ العاملات المتوافقة الأوزان مباشرة من ذاكرة وحدة معالجة رسومية عاملة أخرى عبر تقنية NIXL. وتُسهم تقنية نقل الأوزان التفاضلية في خفض حجم البيانات المنقولة بين التحديثات، إذ تُرسَل نسخة مضغوطة من التغييرات فقط بدلاً من النموذج الكامل، ليعيد العاملون بناء الأوزان الجديدة انطلاقاً من النسخة الأساسية المطابقة. ويفيد ذلك أيضاً في التعافي، حيث يمكن لعامل بديل تحميل نقطة حفظ وتطبيق التغييرات اللاحقة للحاق بالتدريب، مع استمرار العاملين الأصحّاء في التوليد أثناء استعادة القدرة. وفي ما يتعلّق بأعطال العاملين، ترصد Dynamo فقدان أي عامل وتوجّه الطلبات الجديدة نحو العاملين المؤهّلين، وتضيف البدلاء إلى التوجيه فور جاهزيتهم، مع دعم ترحيل الطلبات الجارية المؤهّلة والتصريف التدريجي في إعدادات محدّدة، بينما يتولّى إطار التعلّم المعزّز معالجة العيّنات المتوقّفة وضمان استخدام البدلاء للأوزان المطلوبة. وتشير إنفيديا إلى أن تبنّي Dynamo في مسارات التعلّم المعزّز يمتدّ عبر تطوير النماذج المتقدّمة والبنية المُدارة وأطر العمل مفتوحة المصدر، بما يتيح الحفاظ على استمرارية توليد العيّنات وتوزيع الأوزان واستعادة العاملين في آن واحد.

الروابط ذات الصلة