نقدم نموذج Mixtral 8x7B، وهو نموذج لغوي مختلط خبراء نادر (SMoE). يشترك Mixtral في نفس الهندسة مع نموذج Mistral 7B، مع الفرق أن كل طبقة تتكون من 8 كتل تغذية متقدمة (أي خبراء). بالنسبة لكل رمز (توكن)، وفي كل طبقة، يقوم شبكة التوجيه بتحديد خبيرين لمعالجة الحالة الحالية ودمج مخرجاتهما. رغم أن كل رمز يرى فقط خبيرين، يمكن أن تكون الخوارزميات المحددة مختلفة في كل خطوة زمنية. نتيجة لذلك، يكون لكل رمز إمكانية الوصول إلى 47 مليار معلمة، ولكنه يستخدم فقط 13 مليار معلمة نشطة أثناء الاستدلال. تم تدريب Mixtral باستخدام حجم سياق يبلغ 32 ألف رمز (توكن)، ويتفوق أو يساوي Llama 2 70B و GPT-3.5 في جميع المقاييس التي تم تقييمها. بشكل خاص، يتفوق Mixtral بشكل كبير على Llama 2 70B في الرياضيات وإنشاء الكود والمقاييس المتعددة اللغات. كما نوفر نموذجًا تم ضبطه للالتزام بالتعليمات، وهو Mixtral 8x7B - Instruct، الذي يتجاوز GPT-3.5 Turbo و Claude-2.1 و Gemini Pro و Llama 2 70B - النموذج المحادثة في المقاييس البشرية. يتم إطلاق كلا النموذجين الأساسي والمعاون تحت رخصة Apache 2.0.