ملخص حول نموذج NVIDIA Cosmos Predict-2 مقدمة إن بناء روبوتات أكثر ذكاءً ومركبات ذاتية القيادة (AVs) يبدأ بموديلات الذكاء الصناعي الفيزيائي التي تفهم الديناميكية الحقيقية للعالم. تلعب هذه الموديلات دورين حيويين: تسريع إنتاج البيانات المصنعة (SDG) لمساعدة الآلات المستقلة على تعلم الفيزياء والتفاعلات الحقيقية بما في ذلك الحالات النادرة، وعملها كموديلات أساسية يمكن تدريبها مرة أخرى للمهام المتخصصة أو تكيفها لنوعيات مخرجات مختلفة. NVIDIA Cosmos Predict-2 يعد نموذج NVIDIA Cosmos Predict-2 أحدث ترقية للموديلات الأساسية للعالم، حيث يحتوي على تحسينات هندسية تزيد من السرعة والقابلية للتوسع وتتيح مرونة في الدقة وسرعة الإطارات عبر مختلف الاستخدامات ونماذج الأجهزة. هناك نوعان من الموديلات مُحسَّنان لتعقيد المهام: الموديل ذو 2 مليار معامل (2B): يتميز بالأداء السريع ويوفر إمكانية إنتاج الصور مبدئية في أقل من 5 ثوانٍ على بطاقات الرسومات مثل NVIDIA GB200 NVL72، NVIDIA DGX B200، وNVIDIA RTX PRO 6000. الموديل ذو 14 مليار معامل (14B): يوفر جودة أعلى وأماناً زمنياً أفضل مع الحفاظ على السرعة العالية على نفس الأجهزة. إنتاج السيناريوهات المُصنَّعة يُمكن للمطورين البدء بإنشاء نظرة أولية باستخدام نموذج النص إلى الصورة، الذي يشترط بعد ذلك نموذج الفيديو إلى العالم لإنتاج حالات عالمية متسقة ودقيقة من الناحية الفيزيائية كفيديوهات. هذا يسرع عملية الإصدار التكراري وتصميم السيناريوهات. الروبوتات: التحكم بالتعليم، وManipulation objects، مثل تكييف ذراع الروبوت لأخذ تفاحة بقوة جذع متغيرة. المركبات ذاتية القيادة (AVs): جيل رؤية متعددة، ومحاكاة الحالات الحدية، مثل محاكاة القيادة على الطريق السريع في الأمطار مع تناغم Lidar/camera. الصناعات: العمل المشروط بسلاسل العمل، مثل الصيانة التنبؤية لروبوتات ناقل الحركة. الرؤية: تحديد وضع الكاميرا، مثل الفيديو المتسق ثلاثي الأبعاد من صور فردية. خطوات التدريب المتابعة تحضير البيانات: جمع حوالي 100 ساعة من مقاطع الفيديو التي تدار عن بُعد، باستخدام أدوات إدارة البيانات لتقسيم المقاطع. يجب أن تعكس البيانات تكوينك الخاص—نوع الروبوت، الإضاءة، وأنواع الأشياء—مع وجود زوج نصي ومرئي. تدريب الموديل: استخدام المقاطع المرئية-النصية المحضرة لتدريب Cosmos Predict-2 على مهمتك الخاصة والبيئة المحيطة بها. استخدم سكريبتات التدريب من مستودع GitHub لـnvidia-cosmos/cosmos-predict2. إنتاج السيناريوهات المُصنَّعة: تحفيز الموديل بنصوص مثل "أَخْذ التفاحة المشوهة تحت إضاءة منخفضة". يمكنك أيضًا تحفيز الموديل بصورة أولية لإنشاء فيديوهات "dream" خاصة بالمنطقة. التحقق من الدقة الفيزيائية: استخدم نموذج Cosmos Reason لفحص البيانات المُنتجة وتقييم دقتها الفيزيائية. على سبيل المثال، يقوم بانتقاد البيانات المُنتجة أو "الأحلام" لضمان جودتها. استخدام NVIDIA Research لـ Cosmos Predict استخدم فريق البحث في NVIDIA نموذج Cosmos Predict-1 لتطبيقات الفيديو و3D المتقدمة: - DiffusionRenderer: يدمج بيانات فيديو عالية الجودة والبيانات المُصنَّعة لتحسين واقعية الإضاءة، والهندسة، ودقة المواد في تسلسلات فيديو طويلة. يوفر إطار عمل عام للتحكم في الإضاءة، التشتت، والتحرير. - Difix3D+: نموذج تشتت في خطوة واحدة يعزز التنسيق الثلاثي الأبعاد وإنتاج وجهات نظر جديدة عبر خطوط الأنابيب NeRF و3DGS. يحسن الثبات الزمني، ويقلل من التشويش، ويضبط التفاصيل، مما يحل تحديات(rendering) عالية سرعة الإطارات. - Cosmos-Drive-Dreams: خط أنابيب لإنتاج البيانات المُصنَّعة لتطوير المركبات ذاتية القيادة، يستند إلى Cosmos Transfer وCosmos Predict-1. يولد مقاطع فيديو متنوعة تحت ظروف متنوعة ويكون قادرًا على التوسع من الرؤية الفردية إلى الفيديو المتسق متعدد الرؤى. الختام يُعد Cosmos Predict-2 خطوة كبيرة للأمام في إنتاج بيانات مُصنَّعة عالية الدقة ودقيقة من الناحية الفيزيائية لتطبيقات الروبوتات، الرؤية، وأنظمة الذكاء الصناعي الذاتية. مع الأداء السريع والقابلية للتوسع ومرونة الخيارات، تم تصميمه ليتكيف عبر مجالات متنوعة ونماذج أجهزة مختلفة. عندما يتم استخدامه مع نماذج أخرى في عائلة Cosmos مثل Cosmos Reason وCosmos Transfer، فهو يمكّن من حلقة كاملة—تدريب متابعة، إنتاج، التحقق، وتحسين. هذا يسرع تطوير نماذج خاصة ومزيد من الذكاء والسلامة في أنظمة الذكاء الصناعي الفيزيائي. تقييم الحدث من قبل المختصين يقول الخبراء إن تطوير نماذج مثل Cosmos Predict-2 يمثل نقطة تحول في تكنولوجيا الذكاء الصناعي الفيزيائي. يوفر هذا النموذج فرصة لتحسين التعلم الآلي وتطوير أنظمة أكثر ذكاءً ودقة وآمنة، مما يساهم في تسريع الابتكار في مجال الروبوتات والمركبات ذاتية القيادة والصناعات. نبذة عن NVIDIA NVIDIA هي شركة تقنية عالمية رائدة في مجال الذكاء الصناعي والحوسبة الرسومية. تعمل على تطوير حلول متقدمة لدعم التطبيقات المتنوعة في الروبوتات والمركبات ذاتية القيادة والصناعات. من خلال مبادراتها مثل NVIDIA Cosmos وNVIDIA Omniverse، تستهدف الشركة توفير أدوات قوية لتحسين واقعية البيانات المُصنَّعة وتسريع تطوير الأنظمة الذكية.