نيوديا تطلق AIPerf لتقييم استنتاج النماذج اللغوية
أعلنت شركة نيفيدا عن إطلاق أداة AIPerf الجديدة، وهي منصة مفتوحة المصدر مصممة خصيصاً لقياس ومحاكاة أداء نماذج الذكاء الاصطناعي الكبيرة في بيئات الإنتاج الفعلية. تأتي الأداة كبديل معماري جذري لأداة GenAI-Perf السابقة، حيث تعالج القصور الذي تعانيه أدوات القياس التقليدية مثل الاعتماد على العمليات الأحادية وتقييد الغيل في بايثان، مما يؤدي إلى عرقلة الخادم أو إنتاج مؤشرات غير قابلة للمقارنة. يعتمد هيكل AIPerf على معمارية معالجة متعددة العمليات، حيث تولد العمليات الحمل المطلوب بينما تتولى خدمات مستقلة تسجيل النتائج، مع تنسيق مركزي عبر بروتوكول ZMQ. يضمن هذا التصميم فصل مولد الحمل عن محلل النتائج، مما يمنع تحول العميل نفسه إلى عنق زجاجة ويوفر قياسات دقيقة لأداء الخادم تحت ضغط عالٍ. تدعم الأداة حالياً أكثر من 15 نوعاً من نقاط النهاية، تشمل المحادثات، والردود، وتوليد الصور، وتتيح أيضاً إعادة تشغيل سجلات حركة مرور الإنتاج العامة من منصات مثل Mooncake وBaseten وWEKA. يتميز النظام بالمرونة العالية في تشكيل أنماط الحمل، حيث يوفر توزيعات وصول ثابتة وPoisson وGamma مع تحكم دقيق في التقلب والبدء التدريجي، بالإضافة إلى محاكاة الفروق بين طول الإدخال والإخراج. تكشف التجارب العملية أن النمط الثابت يقدم قياسات مستقرة للخط الأساسي، بينما يحاكي نمط Poisson بدقة توقيت الوصول العشوائي وتباين أطوال الطلبات، مما يوضح تأثير الازدحام على مقاييس التأخير مثل الوقت حتى ظهور الرمز الأول وزمان الاستجابة للرموز. تخرج الأداة جداول شاملة للمؤشرات الأساسية مقسمة حسب النسب المئوية من p25 إلى p99، مع خيارات مدمجة لسحب بيانات استهلاك الطاقة والاستخدام والذاكرة لوحدة المعالجة الرسومية وربطها مباشرة بالقياسات الزمنية. كما تزود المستخدمين بلوحة تحكم حية لمتابعة تقدم الاختبار. تم تطوير الأداة ضمن تعاون صناعي مشترك بمشاركة خبراء من AWS وCoreweave وBaseten وPinterest، بهدف توحيد معايير قياس كفاءة أنظمة الذكاء الاصطناعي وتبسيط عملية التحقق من الأداء قبل النشر.
