تدريب فعال لنماذج MoE البيولوجية

كشفت شركة إنفيديا عن إطار عمل محسّن لتدريب نماذج الأساس البيولوجي المعتمدة على هندسة الخبراء المتغايرة، بهدف تجاوز القيود الحسابية والذاكرة المرتبطة بالتوسع في المعماريات التقليدية. تواجه النماذج المكثفة تحديًا جوهريًا في استهلاك الموارد، حيث تمر كل وحدة بيانات عبر جميع الطبقات، مما يرفع تكاليف التدريب والاستدعاء بشكل كبير. في المقابل، تتيح هندسة الخبراء المتغايرة توزيع العمل على شبكات فرعية متعددة مع تفعيل مجموعة صغيرة منها فقط لكل إدخال، مما يوفر كفاءة أعلى في التوسع، غير أن التنفيذ غير المحكم غالبًا ما يؤدي إلى تجزئة في معالجة الخبراء، وزيادة في عبء الاتصالات، وضغوط شديدة على ذاكرة التنشيط. لمواجهة هذه العقبات، طورت إنفيديا حلولاً مدمجة ضمن محركات المحولات ومجموعة حلول البيونيمو، تركز على تجميع العمليات الحسابية وتقليل استهلاك الذاكرة. يتمثل التحسين الأول في معالجة التجزئة عبر تقنية تجميع العمليات الخطية، التي تدمج عمليات التحويل للخبراء المنفصلة في استدعاء واحد متكامل، مما يلغي عبء تشغيل الوحدات التنفيذية بشكل متتابع ويوزع الأحمال بكفاءة على المعالجات. وفي جانب الذاكرة، تتيح التقنية دقة FP8 وMXFP8، التي تقلل حجم تمثيل الأوزان والتنشيطات إلى ثمانية بتات، مع الحفاظ على الدقة الرقمية عبر عوامل قياس مخصصة للكتل، وهو ما يدعمه بشكل مباشر عتاد الجيل الجديد من معالجات Tensor Core. كما تدمج المنصة خطوة التكميم وإعادة التكميم ضمن مسار متعدد الوظائف يجمع بين عمليات التحويل، وتنشيط SwiGLU، ومقاييس التوجيه في نواة واحدة، ما يختزل الخطوات الوسيطة ويخفف الحمل على إطار العمل. أثبتت التجارب الميدانية على ثمانية معالجات من طراز B200 فعالية هذا النهج، مسجلةً معدل تدفق أعلى بنسبة تصل إلى ضعفين ونصف الضعف مقارنةً بالتنفيذ الافتراضي الشائع، دون المساس بجودة النموذج. تمثل هذه التطورات مرجعًا عمليًا للباحثين في الذكاء الاصطناعي الحيوي، حيث توفر قوالب جاهزة للتوسع عبر موازاة الخبراء والتكامل مع دقة البيانات المنخفضة، مما يسرع وتيرة تحليل الجينومات والبروتينات الضخمة. وتؤكد الشركة أن تبني هذه المعماريات المتوازنة سيسهم في ترسيخ كفاءة الحوسبة عالية الأداء كتقنية قياسية لتطوير النماذج الأساسية في العلوم الحياتية، مع استمرار فريق التطوير في تحسين المكتبات لدعم الأحمال الحسابية المعقدة في المستقبل.