HyperAIHyperAI
Back to Headlines

NVFP4 يُحدث ثورة في تدريب الذكاء الاصطناعي: دقة 16 بت وسرعة وفعالية 4 بت

منذ يوم واحد

في ظل التوسع الهائل في حجم نماذج الذكاء الاصطناعي، أصبحت كفاءة التدريب وسرعة معالجة الرموز (Tokens) محورًا حاسمًا لتطوير نماذج متقدمة. أطلقت نيفيديا تقنية NVFP4، وهي تنسيق ذكي بـ4 بت مصمم خصيصًا لتحسين كفاءة التدريب، متجاوزة الحدود التقليدية للدقة والسرعة. هذه التقنية تمثل تحولًا جذريًا في تدريب النماذج الكبيرة، حيث تجمع بين دقة 16 بت وسرعة وفعالية 4 بت. في السابق، اعتمدت عمليات التدريب على دقة 16 بت أو 32 بت، مما يستهلك موارد حاسوبية ضخمة. أما NVFP4، فهي تقلل دقة المعاملات والتحفيزات إلى 4 بت فقط، مما يقلل الاستهلاك التخزيني بنسبة كبيرة، ويزيد من سرعة العمليات الحسابية، ويحسن كفاءة نقل البيانات بين المعالجات. ومع ذلك، فإن التدريب بـ4 بت يشكل تحديًا كبيرًا بسبب تقلبات التدرجات (Gradients) وصعوبة الحفاظ على الاستقرار والدقة، ما يتطلب تقنيات متقدمة لضمان تقارب النموذج مع النتائج عالية الدقة. لتحقيق ذلك، طوّرت نيفيديا وصفة تدريب مخصصة لـNVFP4، تعتمد على تقنيات متعددة لضمان الاستقرار، مثل إدارة النطاق الديناميكي، وتحسين دقة التدرجات، وتحسين التوازن بين الدقة والكفاءة. وقد تم دعم هذه التقنية تقنيًا بمعمارية Blackwell، التي تدعم بشكل مدمج تنسيق FP4، وتقدم أداءً مذهلًا في العمليات المصفوفية (GEMM)، حيث أظهرت نتائج مختبرة تسريعًا بنسبة 7 مرات مقارنة بجيل Hopper السابق. في تجربة واقعية، تم تدريب نموذج هجين بـ12 مليار معامل (12B Hybrid Mamba-Transformer) على 10 تريليون رمز باستخدام بيانات مختلطة على مراحل. أظهرت النتائج أن نموذج التدريب بـNVFP4 حقق انسيابية تدريب مستقرة، دون انفصال أو تذبذب، وتماشيًا وثيقًا مع نموذج الدقة الأعلى (FP8) من حيث منحنى الخسارة التحقق. كما أظهر النموذج المدرب بـNVFP4 أداءً مماثلًا في المهام التطبيقية المختلفة، بما في ذلك التوليد، الاستجابة، والفهم، ما يؤكد كفاءته في المهام الحقيقية. تُعد هذه النتائج خطوة فاصلة، إذ تثبت أن التدريب بـ4 بت ليس مجرد تحسين تقني، بل هو نموذج عملي يمكن تطبيقه على نطاق واسع في تطوير نماذج ذكاء اصطناعي متقدمة بحجم تريليونات الرموز. وتشمل شركات عالمية مثل أمازون، جوجل، أوبرا، كوهير، وريوناي كمُشاركات فعّالة في تجربة وتطوير هذه التقنية. بفضل NVFP4، أصبح من الممكن تدريب نماذج أكبر، وتشغيل عدد أكبر من التجارب في نفس المدة، وتقليل استهلاك الطاقة، مما يُسهم في بناء "مصانع ذكاء اصطناعي" أكثر كفاءة واستدامة. هذه التقنية ليست مجرد ترقية، بل تُعيد تعريف حدود ما يمكن تحقيقه في تطوير الذكاء الاصطناعي، وتُمهّد الطريق لجيل جديد من النماذج المتقدمة، بسرعة أكبر، وبتكلفة أقل، وبأداء أعلى.

Related Links

NVFP4 يُحدث ثورة في تدريب الذكاء الاصطناعي: دقة 16 بت وسرعة وفعالية 4 بت | العناوين الرئيسية | HyperAI