Sangmin Bae Bilge Acun Haroun Habeeb Seungyeon Kim Chien-Yu Lin Liang Luo Junjie Wang Carole-Jean Wu

الملخص

أظهر التقدم الأخير في النماذج اللغوية الكبيرة أن الهياكل الهجينة—التي تجمع بين آليات الانتباه الذاتي والأنماط المُنتظمة لفضاء الحالة مثل Mamba—يمكن أن تحقق توازناً جذاباً بين جودة النمذجة والكفاءة الحسابية، خصوصاً في المهام ذات السياق الطويل. وعلى الرغم من الأداء الواعد الذي تُظهره هذه النماذج الهجينة، فإن المقارنات المنظمة لاستراتيجيات التهجين والتحليلات المتعلقة بالعوامل الأساسية وراء فعاليتها لم تُشارك بشكل واضح مع المجتمع العلمي. في هذا العمل، نقدّم تقييماً شاملاً لهياكل النماذج الهجينة القائمة على دمج بين الطبقات (التسلسلي) أو داخل الطبقات (ال병 parallèle). ونقيّم هذه التصاميم من منظورات متعددة: أداء النمذجة اللغوية، وقدرات التعامل مع السياقات الطويلة، وتحليل التوسع، وكفاءة التدريب والاستنتاج. وبتحليل الخصائص الأساسية لوحدة الحساب الأساسية لكل نموذج، نحدد العناصر الأكثر أهمية لكل استراتيجية هجينة، ونُقدّم على هذا الأساس وصفات تصميم مثلى لكل من النماذج الهجينة. يوفر تحليلنا الشامل توجيهات عملية ورؤى قيّمة لتطوير النماذج اللغوية الهجينة، مما يُسهم في تحسين تهيئة الهياكل المعمارية.