في سياق تدريب الذكاء الاصطناعي على عدة وحدات معالجة رسومية (GPUs)، يُعد فهم نموذج "المضيف والجهاز" (Host-Device Paradigm) أساسًا لاستغلال أداء هذه الأنظمة بكفاءة. البرنامج يبدأ دائمًا على وحدة المعالجة المركزية (CPU)، وتُرسل الأوامر والبيانات إلى وحدة المعالجة الرسومية (GPU) عند الحاجة، مثل ضرب مصفوفتين كبيرتين. لا ينتظر CPU انتهاء العملية على GPU، بل يُضيف الأمر إلى قائمة مخصصة تُسمى "مجرى CUDA" (CUDA Stream)، مما يسمح بالتنفيذ غير المتزامن (asynchronous execution). هذه الميزة تُمكن CPU من الاستمرار في تجهيز البيانات أو تنفيذ مهام أخرى أثناء معالجة GPU للبيانات، مما يعزز الأداء بشكل كبير. يُعد المجرى (Stream) وحدة ترتيب للعمليات على GPU، حيث تُنفَّذ العمليات داخل نفس المجرى بالتسلسل، بينما يمكن تنفيذ عمليات مختلفة في مجريين مختلفين بالتوازي. في PyTorch، تُستخدم مجريات متعددة لتمكين التداخل بين نقل البيانات وحسابات المعالجة. على سبيل المثال، يمكن لـ GPU أن يُعالج باشة (batch) بينما يتم نقل الباشة التالية من ذاكرة CPU إلى ذاكرة GPU (VRAM) في نفس الوقت، وذلك لأن نقل البيانات والحسابات يستخدمان وحدات مادية منفصلة داخل GPU. لتحقيق هذا التداخل، تُستخدم الإشارات (Events) لضبط التزامن بين المجريات. بدلًا من تجميد كل المجريات باستخدام torch.cuda.synchronize()، يمكن استخدام torch.cuda.Event() لتحديد نقطة انتهاء نقل البيانات، ثم جعل المجرى الحسابي ينتظر هذه النقطة دون توقف CPU، مما يحافظ على كفاءة التنفيذ. من الجدير بالذكر أن التنسورات في PyTorch تتكون من معلومات هياكلية (مثل الشكل والنوع) وبيانات فعلية. عند إنشاء تنسور على GPU باستخدام device=device، تُنشأ البيانات مباشرة في ذاكرة GPU، مما يقلل من نقل البيانات من CPU. أما إذا استُخدم torch.randn(...).to(device)، فتُنشأ البيانات أولاً على CPU ثم تُنقل إلى GPU، مما يُضيع وقتًا وموارد. يُعد التزامن بين المضيف والجهاز (Host-Device Synchronization) نقطة ضعف شائعة، خاصة عند طلب عرض بيانات من GPU باستخدام print(tensor)، حيث يتوقف CPU حتى تُكتمل العملية على GPU وتنقل النتائج إلى ذاكرة CPU، مما يُبطئ الأداء. عند التوسع لتدريب نماذج ضخمة مثل نماذج اللغة الكبيرة (LLMs)، تُستخدم تقنيات الحوسبة الموزعة عبر عدة GPUs. في هذه الحالة، يُطلق عدة عمليات مستقلة (Ranks)، كل منها يُسيّر كودًا متماثلًا على GPU مختلف. على جهاز واحد، تُدار هذه العمليات على نفس CPU لكن دون مشاركة الذاكرة. يمكن استخدام معرف "الرتبة" (Rank ID) لتقسيم العمل، مثل تخصيص كل GPU لمعالجة جزء من البيانات. الإلمام بهذا النموذج يُعد أساسًا لفهم كيفية تحسين الأداء في التدريب الموزع، ويُعدّ ضروريًا لتشخيص العوائق الخفية في الأداء، مثل التأخير الناتج عن التزامن غير الضروري أو نقل البيانات البطيء. في المقال القادم، سيتم استكشاف عمليات الاتصال المباشر (Point-to-Point) والعمليات الجماعية (Collective Operations) التي تُمكّن GPUs من التنسيق في مهام معقدة مثل التدريب الموزع للشبكات العصبية.