مقدمة

Triton هي لغة ومترجم للبرمجة المتوازية، مصممة لتوفير بيئة برمجة قائمة على لغة Python لكتابة نوى حساب DNN مخصصة بكفاءة والتي يمكن تشغيلها بأقصى إنتاجية على أجهزة GPU.

هذا المشروع عبارة عن برنامج تعليمي كامل لـ Triton، يغطي جميع الجوانب من الأساسيات إلى المتقدمة، بما في ذلك عمليات المتجهات، وعمليات المصفوفات، وتطبيع الطبقات، وآليات الانتباه، وضرب المصفوفات FP8.

جدول المحتويات

1. شرح أساسيات التشغيل

1.1 جمع المتجهات

• 01-vector-add.cn.ipynb – برنامج تعليمي تمهيدي لجمع المتجهات، يقدم نموذج برمجة تريتون الأساسي.

2. برنامج تعليمي للمشغل الأساسي

2.1 سوفتماكس المدمج

• 02-fused-softmax.cn.ipynb – دمج عمليات Softmax لتعلم عمليات دمج النواة والاختزال.

2.2 ضرب المصفوفات

• 03-matrix-multiplication.cn.ipynb تنفيذ عالي الأداء لعملية ضرب المصفوفات

2.3 تسوية الطبقات

• 05-layer-norm.cn.ipynb – تنفيذ عامل تسوية الطبقات

3. شرح الميزات المتقدمة

3.1 انقطاع الاتصال بسبب انخفاض الذاكرة

• 04-low-memory-dropout.cn.ipynb – تطبيق Dropout مُحسَّن للذاكرة

3.2 الانتباه المدمج

• 06-fused-attention.cn.ipynb – تطبيق آلية الانتباه في المحول

3.3 وظائف Libdevice الخارجية

• 07-extern-functions.cn.ipynb – استخدام المكتبة الخارجية tl_extra.libdevice

3.4 نموذج GEMM المجمع

• 08-grouped-gemm.cn.ipynb – تطبيق ضرب المصفوفات العامة المجمعة

3.5 ضرب المصفوفات المستمر باستخدام FP8

• 09-persistent-matmul.cn.ipynb – تحسين عملية ضرب المصفوفات بدقة FP8

3.6 ضرب المصفوفات باستخدام تحجيم الكتل

• 10-block-scaled-matmul.cn.ipynb – تنفيذ ضرب المصفوفات باستخدام تحجيم الكتل

مصادر مرجعية

• الوثائق الرسمية لشركة ترايتون
• مستودع تريتون على جيت هاب
• البرنامج التعليمي الرسمي لشركة تريتون