TpuGraphs: مجموعة بيانات لتنبؤ الأداء على الرسومات الحسابية الكبيرة للтензорات

تلعب نماذج الأداء الدقيقة للأجهزة دورًا حاسمًا في تحسينات الكود. يمكنها مساعدة المترجمات في اتخاذ قرارات تقريبية أو مساعدة برامج التحسين الآلي في تحديد التكوين الأمثل لبرنامج معين. على سبيل المثال، اكتشفت أداة التحسين الآلي لـ XLA، وهو مترجم للتعلم الآلي، زيادة في السرعة بنسبة 10-20% في النماذج الرائدة التي تخدم حركة إنتاج كبيرة في جوجل. رغم وجود بعض قواعد البيانات للتنبؤ بأداء البرامج، فإنها تستهدف برامج فرعية صغيرة مثل الكتل الأساسية أو النوى (kernels). يقدم هذا البحث TpuGraphs، وهي مجموعة بيانات للتنبؤ بالأداء على برامج المتجهات الكاملة، والتي تمثلها الرسوم الحسابية وتعمل على وحدات معالجة المتجهات (Tensor Processing Units - TPUs). يمثل كل رسم في هذه المجموعة البيانات الحساب الرئيسية لوظيفة تعلم آلي، مثل دورة تدريبية أو خطوة استدلال. تحتوي كل عينة من العينات على رسم حسابي، تكوين تجميع، ووقت تنفيذ الرسم عند تجميعه باستخدام هذا التكوين. تم جمع الرسوم الموجودة في المجموعة من برامج التعلم الآلي ذات المصدر المفتوح، والتي تتضمن هياكل نماذج شائعة مثل ResNet و EfficientNet و Mask R-CNN و Transformer. توفر TpuGraphs 25 ضعف عدد الرسوم أكثر من أكبر مجموعة بيانات للتنبؤ بخصائص الرسوم (مع أحجام رسوم مماثلة)، وتكون الرسوم فيها أكبر بمعدل 770 ضعفًا مقارنة بقواعد البيانات الموجودة للتنبؤ بالأداء على برامج التعلم الآلي. يطرح هذا المهمة للتنبؤ بالأداء على مستوى الرسوم الكبيرة تحديات جديدة في مجال التعلم، تتراوح بين القابلية للتوسع وكفاءة التدريب وجودة النموذج.