تطور جوجل بنية جديدة للتدريب الموزع لنماذج الذكاء الاصطناعي تسمى "ديكوبلد دي لوكو" (Decoupled DiLoCo)، والتي تهدف إلى التغلب على التحديات اللوجستية الضخمة في تدريب النماذج الضخمة عبر مراكز بيانات بعيدة. يعتمد تدريب نماذج الذكاء الاصطناعي المتقدمة تقليدياً على أنظمة مدمجة بدقة عالية، حيث يجب أن تظل آلاف الرقاقات متزامنة بشكل مثالي، وهو أمر يصعب تحقيقه على النطاق الواسع مع تزايد تعقيد النماذج. توفر هذه البنية الجديدة حلاً عن طريق تقسيم عمليات التدريب الكبيرة إلى جزر حوسبة غير متصلة بشكل وثيق، يتم تدفق البيانات بينها بشكل غير متزامن. هذا التصميم يعزل الاضطرابات المحلية، مما يسمح لأجزاء أخرى من النظام بالاستمرار في التعلم بكفاءة حتى في حال حدوث أعطال في مناطق معينة، مما يجعل النظام أكثر مرونة ومرونة في مواجهة الأعطال. كما أن هذا النهج يتجنب التأخيرات في الاتصال التي جعلت الطرق الموزعة السابقة غير عملية على النطاق العالمي. نجحت جوجل في تطبيق هذه التقنية بنجاح عملي من خلال تدريب نموذج يحتوي على 12 مليار معلمة عبر أربع مناطق أمريكية منفصلة. ما يميز هذا الإنجاز هو استخدامه لسرعات شبكة واسعة النطاق بين 2 إلى 5 جيجابت في الثانية، وهي سرعات متاحة بفعالية عبر البنية التحتية للإنترنت الحالية دون الحاجة إلى بنى شبكية مخصصة مكلفة. الأهم من ذلك، أن النظام حقق نتائج التدريب بسرعة تفوق الطرق التقليدية المتزامنة بأكثر من عشرين مرة، وذلك من خلال دمج فترات الاتصال الضرورية في فترات حوسبة أطول، مما يتجنب الاختناقات التي تضطر فيها أجزاء النظام للانتظار. تسعى هذه التطورات إلى تمكين التدريب على نطاق النطاق الإنترنتي، مما يتيح استخدام أي موارد حوسبة غير مستغلة مهما كان موقعها الجغرافي. بالإضافة إلى ذلك، تتيح هذه البنية دمج أجيال مختلفة من عتاد الحوسبة، مثل وحدات TPU v6e و v5p، في عملية تدريب واحدة. هذا التطور لا يطيل العمر الافتراضي للأجهزة الموجودة فحسب، بل يزيد من إجمالي القدرة الحاسوبية المتاحة. أظهرت الاختبارات أن الرقاقات من أجيال مختلفة تعمل بسرعات مختلفة حققت أداءً تعلمياً مماثلاً لتلك التي تستخدم رقاقات من جيل واحد فقط، مما يعني أن الأجهزة الأقدم يمكنها المساهمة بفعالية في تسريع تدريب الذكاء الاصطناعي. كما أن القدرة على التدريب عبر أجيال مختلفة من الأجهزة تساعد في تخفيف الاختناقات اللوجستية والسعة المتكررة التي تحدث عند وصول أجيال جديدة من العتاد غير المتزامن في جميع أنحاء العالم. تعكس هذه الجهود النهج الشامل لشركة جوجل لتطوير البنية التحتية للذكاء الاصطناعي، والذي يغطي العتاد والبرمجيات والبحث معاً لضمان جاهزية الأنظمة للمرحلة القادمة من تطور الذكاء الاصطناعي. تم إنجاز هذا العمل بفريق مشترك بين جوجل ديب مايند وجوجل ريسيرش، تحت إشراف عدة خبراء بارزين في المجال.