يعكس البحث الأخير الذي أعدّه الباحثون أحمد الكدي وأحمد رادوان وشناى رازا حول نماذج خليط الخبراء تطورات جوهرية في هندسة النماذج الضخمة متعددة الوسائط، حيث يُظهر كيف يمكن تحقيق سعة حسابية فائقة دون تكاليف متناسبة لكل توكن. تعتمد هذه المعمارية على فصل الشبكة إلى وحدات خبراء متخصصة وتوجيه المدخلات ديناميكياً إلى مجموعات محددة عبر آلية توجيه مدعومة بالتعلم، مما يتيح نمو المعلمات الكلية مع الحفاظ على كفاءة الحساب وتقليل استهلاك الذاكرة والطاقة. كشف التطبيق العملي على نموذج Qwen3-Omni المؤلف من 35.26 مليار معلمة، والذي اختُبر على أربعة وحدات معالجة رسوميات من نوع A100 سعة 80 جيجابايت، عن قصور جوهري في تقنيات توزيع الأوزان التقليدية مثل ZeRO-3 وFSDP عند التعامل مع طبقات خليط الخبراء. بسبب الطبيعة المعتمدة على البيانات في التوجيه، فشلت جميع تكوينات التوزيع الخمسة المختبرة في تجنب استنفاد الذاكرة، مما يؤكد عدم توافقها مع آلية جمع الأوزان عند الطلب. بدلاً من ذلك، أظهرت التجربة نجاعة نهج يقلل الذاكرة دون تقسيم الخبراء عبر الدمج بين كمّ الأوزان بـ QLoRA، وتسريع الانتباه بـ Flash Attention 2، واستخدام خطاف ما قبل الرأس الحسي لقص حالات الإدخال، مما سمح بالضبط الدقيق داخل حدود العتاد المتاح. كشفت مراجعة طبقات التوجيه على مستوى 48 طبقة عن تحول بنيوي واضح: في الطبقات الأولى، يوزع التوجيه الرموز وفق النوع الوسيطي مثل الصوت والفيديو والنص، بينما ينتقل التوجيه في الطبقات العميقة لمراعاة السياق الدلالي، مع انخفاض ملحوظ في إنتروبيا التوجيه مما يعكس تخصصاً متزايداً مع اقتراب المدخلات من المخرجات. كما وُجد أن مسارات النص تظهر تقلباً ديناميكياً أعلى مقارنة بالوسائط المتعددة، مما يدعم قرار تجميد خوارزمية التوجيه أثناء الضبط الدقيق للحفاظ على البنية المكتسبة وتوجيه الميزانية التدريبية نحو طبقات الانتباه الكثيفة. يضع البحث خارطة طريق للمستقبل تبرز توازي الخبراء كحل طويل الأمد للتوزيع على أنظمة متعددة، رغم حاجته لتطوير أدوات توافقية مع النماذج الجاهزة. كما يشير إلى ضرورة تحسين استراتيجيات اختيار إطارات الفيديو لتجنب الهدر الحاسوبي، ووضع بروتوكولات تقييم تميز بين فشل التنسيق الداخلي وقصور الاستدلال. يؤكد هذا العمل أن الانتقال من النماذج الكثيفة إلى بنى خليط الخبراء لم يعد خياراً تجريبياً فحسب، بل أصبح إطاراً هندسياً قائماً يتطلب إعادة تفكير في أدوات التوزيع، واستقرار التدريب، وآليات التكيف السياقي، مما يمهد الطريق لنماذج أكثر كفاءة وقدرة على التعامل مع التعقيد الدلالي المتعدد الأبعاد في تطبيقات الذكاء الاصطناعي التوليدية.