تُقدّم NVIDIA حلًا مبتكرًا لتسريع استدلال النماذج اللغوية الكبيرة (LLMs) والأنظمة متعددة الوسائط (VLMs) في البيئات المضمنة، من خلال إطلاق إطار عمل TensorRT Edge-LLM المفتوح المصدر، المصمم خصيصًا للتطبيقات في السيارات والروبوتات. يُعد هذا الإطار خطوة مهمة نحو تمكين الذكاء الاصطناعي التفاعلي المباشر داخل المركبات والروبوتات، حيث تُعدّ التأخيرات المنخفضة، والموثوقية، والقدرة على العمل دون اتصال بالإنترنت، من العوامل الحاسمة. يُركّز TensorRT Edge-LLM على احتياجات البيئة المضمنة، مُقدّمًا نموذجًا خفيفًا وسريعًا مكتوبًا بلغة C++، يُستند إلى مبادئ التصميم المُوجّه نحو الموارد المحدودة. تم تطويره خصيصًا ليعمل على منصات NVIDIA DRIVE AGX Thor وNVIDIA Jetson Thor، ويُزوّد بدعم مباشر في إصدار JetPack 7.1. يتميز الإطار بحُرية التبعيات، مما يسهل تضمينه في التطبيقات الإنتاجية، ويقلل من استهلاك الذاكرة والطاقة. يُقدّم TensorRT Edge-LLM ميزات متقدمة تُعزز الأداء في المهام الزمنية الحقيقية، مثل تقنية EAGLE-3 للتخمين التنبؤي التي تُسرّع عملية إنتاج الكلمات، ودعم التجزئة بالدقة NVFP4 لتقليل حجم النموذج دون فقدان الدقة، بالإضافة إلى تقنية الاستخلاص المتقطع (chunked prefill) التي تُحسّن كفاءة المعالجة عند التعامل مع مدخلات طويلة. تم بالفعل تبني الإطار من قبل شركات رائدة في قطاع السيارات، مثل Bosch وThunderSoft وMediaTek، التي تُظهر حلولها في معرض CES 2026. تُستخدم TensorRT Edge-LLM في مساعدات ذكية داخل المركبات، حيث تُدمج مع نماذج التعرف على الصوت (ASR) وتحويل النص إلى كلام (TTS) لتقديم تفاعلات صوتية طبيعية. تُعدّ Bosch مثالًا مميزًا من خلال مساعد القيادة المدعوم بالذكاء الاصطناعي، الذي يتعاون مع نماذج سحابية عبر منسق ذكي. أما ThunderSoft، فتُدمج الإطار في منصتها AIBOX القائمة على NVIDIA DRIVE AGX Orin، لتقديم تجربة تفاعلية فورية داخل المقصورة. وتدعم MediaTek منصتها CX1 باستخدام TensorRT Edge-LLM لتطبيقات مراقبة السائق وتجربة المستخدم (HMI)، وتساهم في تطوير ميزات مخصصة للبيئة المضمنة. يُقدّم TensorRT Edge-LLM تدفقًا متكاملًا لاستدلال النماذج، يشمل ثلاث مراحل: استيراد النموذج من Hugging Face إلى صيغة ONNX مع دعم التكميم، وبناء محرك TensorRT مُحسّن للهاردوير المضمن، ثم تشغيل النموذج عبر وحدة تنفيذ C++ على الجهاز. تُعدّ هذه العملية مُبسّطة ومتاحة عبر دليل سريع في مستودع GitHub، مع أمثلة توضيحية ودليل تخصيص. يُعدّ TensorRT Edge-LLM حجر الأساس لبناء تطبيقات ذكية مدمجة، يُمكن تطويرها على منصات NVIDIA Jetson وDRIVE AGX. مع توسّع النماذج اللغوية نحو الحافة، يُقدّم هذا الإطار مسارًا واضحًا وموثوقًا لتحويل النماذج من مختبرات التعلّم إلى تشغيل عملي في الوقت الفعلي، داخل السيارات والروبوتات.