تشغيل نماذج الذكاء الاصطناعي لتطبيقات الحافة بأوامر قليلة
تواصل إنفيديا دفع تطبيقات الذكاء الاصطناعي خارج مراكز البيانات، إذ باتت وكلاء ذكية تعمل على الأطراف وتراقب انتباه السائقين وظروف المقصورة، وتفهم الروبوتات محيطها، وتنسق أساطيل الآلات في خطوط الإنتاج. وتحتاج هذه التطبيقات إلى نماذج تدرك وتستدل وتتصرف ضمن ميزانيات صارمة للذاكرة والطاقة وزمن الاستجابة. ولتسريع ذلك، طرحت إنفيديا نسخة بسعة ٦٤ غيغابايت من منصة دي إكس إسبارك، الموجهة للمطورين العاملين على الأنظمة المدمجة، لتجربة النماذج وضبطها واختبارها. ويتكامل ذلك مع بيئة تشغيل الاستدلال تينسور آر تي إيدج إل إل إم، وهي زمن تشغيل خفيف بلغة سي بلس بلاس للأحمال المدمجة، ويوفر إطار استدلالا موحدا للتطوير على دي إكس إسبارك والنشر على منصات جيتسون ثور، ودرايف آغكس ثور، وآي جي إكس ثور. وتتيح المنصة بدء الاستخدام ببضع خطوات عبر واجهة سطرية، إذ تنزّل النموذج المطلوب وتبني محركات استدلال محسنة للأداء. ويمكن للمطور اختبار نموذج نيموترون ٣٫٥ لايتنينغ نصيا في الطرفية، أو تقديمه من خلال واجهة برمجية محلية متوافقة مع نمط أوبن إيه آي لاختبار التطبيقات، مع إمكانية تشغيل خدمة مستمرة للطلبات المتتالية. وتتضمن التهيئة المطلوبة بيئة تطوير داعمة تشمل كودا ١٣، وتينسور آر تي ضمن الإصدارات العاشرة، وبايثون من ٣٫١٠ إلى ٣٫١٢. ويمكن تفعيل فك التشفير التخميني دي إسبارك، الذي يستخدم نموذجا أوليا لاقتراح عدة رموز ويتحقق منها النموذج الرئيسي في مرور واحد، مع إمكانية ضبط عدد الرموز المقترحة. وفي اختبار على دي إكس إسبارك ٦٤ غيغابايت، حافظ زمن الاستجابة الأول تقريبا بين ٩٨ و٣٣٢ ميلي ثانية، بينما رفع دي إسبارك متوسط إنتاج الرموز من نحو ٧٣ رمزا في الثانية إلى ما بين ١٠٥ و١٢٧ رمزا في الثانية. وتتيح المنصة كذلك الانتقال إلى نماذج أخرى تدعم الرؤية واللغة وفهم الصور والفيديو والتعرف إلى الكلام وتوليد الصوت، مع توثيق خاص بسير عمل النماذج ومتطلباتها على المنصات المدمجة المستهدفة.
