مايكروسوفت تطلق Phi-4-mini-Flash-Reasoning: تفوق في الاستدلال بسياق طويل مع هندسة مدمجة وفعالة

ميكروسوفت تطلق "في-4-ميني-فلاش-ريزينج": نموذج لغوي فعال في التعامل مع السياقات الطويلة بمقوّمات مدمجة "في-4-ميني-فلاش-ريزينج"، الإضافة الأحدث إلى عائلة نماذج "في-4" من ميكروسوفت، هو نموذج لغوي مفتوح وخفة الوزن مصمم لتحقيق كفاءة عالية في التعامل مع السياقات الطويلة مع الحفاظ على سرعة الاستدلال. تم إطلاق هذا النموذج الذي يحتوي على 3.8 مليار معلمة على منصة هابينغ فايس، وهو نسخة مشتقة من "في-4-ميني" ومُعدَّل لمهام الاستدلال الكثيفة مثل حل مسائل الرياضيات والإجابة على أسئلة متعددة الخطوات. الهندسة المعمارية: ذاكرة مغلقة تلتقي بالتفكيك الهجين يقوم "في-4-ميني-فلاش-ريزينج" على هيكل جديد يُسمى "سامباي"، وهو نموذج تفكيك-هجين-تفكيك يدمج نماذج الفضاء الحالة (SSMs) مع طبقات الانتباه باستخدام آلية خفيفة تُعرف بوحدة الذاكرة المغلقة (GMU). تتيح هذه البنية تقاسم الذاكرة بكفاءة بين الطبقات، مما يقلل بشكل كبير من زمن الاستجابة في السياقات الطويلة وتوليد الجمل الطويلة. على عكس معماريات الترميز التي تعتمد بشدة على حسابات الانتباه المستهلكة للذاكرة، يستخدم "سامباي" الهيكل الهجين "سامبا" في التفكيك الذاتي ويستبدل حوالي نصف طبقات الانتباه المتقاطعة في التفكيك المتقاطع بوحدات الذاكرة المغلقة (GMUs). تعمل وحدات الذاكرة المغلقة كوظائف تحكم رخيصة تقوم بإعادة استخدام الحالة الخفية من الطبقة النهائية لـ SSM، مما يتجنب الحسابات الزائدة. هذا يؤدي إلى تعقيد ملء أولي خطي وزمن استجابة أقل، مما يوفر سرعات أعلى أثناء الاستدلال. عملية التدريب واستعدادات الاستدلال تم تدريب نموذج "في-4-ميني-فلاش" على 5 تريليون رمز من بيانات عالية الجودة وبيانات مصنوعة بطرق اصطناعية، وهو ما يتماشى مع باقي عائلة "في-4-ميني". بعد التدريب الأولي، يخضع النموذج لتدريب مراقب (SFT) وتعزيز التفضيل المباشر (DPO) باستخدام مجموعات بيانات تعليمية تركز على الاستدلال. يُلاحظ أن هذا النموذج يختلف عن "في-4-ميني-ريزينج" لأنه يُحذف تعليم التقوية (RLHF) تماماً. رغم ذلك، فإن "في-4-ميني-فلاش-ريزينج" يتفوق على "في-4-ميني-ريزينج" في مجموعة من المهام المعقدة التي تتطلب الاستدلال. على معيار Math500، يحقق النموذج دقة تمرير بنسبة 92.45%، وهي نسبة أعلى من "في-4-ميني-ريزينج" (91.2%) وأفضل من نماذج أخرى مفتوحة المصدر مثل Qwen-1.5B و Bespoke-Stratos-7B. كما يظهر تحسينات كبيرة في معيار AIME24/25، حيث يحقق أكثر من 52% من الدقة. يعزى هذا الارتفاع في الأداء إلى قدرة النموذج على توليد سلاسل فكرية طويلة (CoT). مع دعم يصل إلى 64 ألف رمز للسياق وتحسين الاستدلال تحت إطار العمل vLLM، يمكن للنموذج توليد وتحليل سياقات تبلغ آلاف الرموز دون أي عقد. كفاءة معالجة السياقات الطويلة ليست المكاسب في الكفاءة نظرية فحسب، بل يحقق "في-4-ميني-فلاش-ريزينج" أداءً تنافسيًا على معايير السياق الطويل مثل Phonebook و RULER. على سبيل المثال، مع حجم نافذة الانتباه المتنقلة (SWA) صغير يبلغ 256 رمزًا، يحافظ النموذج على دقة عالية في الاسترجاع، مما يدل على أن التوابع طويلة المدى يتم التقاطها بشكل جيد عبر SSMs وتقاسم الذاكرة بواسطة GMU. تساهم هذه الابتكارات في الهندسة المعمارية في تقليل العبء الحاسوبي والذاكرة. على سبيل المثال، أثناء عملية التفكيك، تحل طبقات GMU محل عمليات الانتباه التي ستكلف وقتًا بتعقيد O(N·d) لكل رمز، وتقلل ذلك إلى O(d)، حيث N هو طول التسلسل وd هو البعد الخفي. النتيجة هي قدرة على الاستقراء في الوقت الفعلي حتى في السيناريوهات المتعددة الأدوار أو المستوى الوثائقي. الأوزان المفتوحة واستخدامات النموذج قامت ميكروسوفت بتوفير الأوزان والمعلمات المفتوحة للنموذج عبر منصة هابينغ فايس، مما يمنح المجتمع الإمكانية الكاملة للوصول والاستخدام. يدعم النموذج سياقات تصل إلى 64 ألف رمز، يعمل تحت بيئات تشغيل قياسية مثل هابينغ فايس وvLLM، وقد تم تحسينه لتحقيق سرعة عالية في توليد الرموز على بطاقات GPU من نوع A100. يمكن استخدام "في-4-ميني-فلاش-ريزينج" في مجموعة متنوعة من التطبيقات، بما في ذلك حل المشكلات الرياضية المعقدة، الإجابة على أسئلة متعددة الخطوات، وتحليل الوثائق الطويلة. هذه المزايا تجعله خيارًا قويًا للنشر في بيئات ذات موارد حاسوبية محدودة ولكن مع تعقيدات مهمة عالية. الخلاصة يُمثل "في-4-ميني-فلاش-ريزينج" كيفية قيام الابتكارات الهندسية، وخاصة النماذج الهجينة التي تستفيد من SSMs والتحكم الفعال، بتقديم مكاسب تحويلية في أداء الاستدلال بدون زيادة حجم النموذج أو تكاليفه. يعد هذا النموذج خطوة جديدة نحو نماذج اللغة الفعالة في السياقات الطويلة، ويفتح الباب أمام وكلاء الاستدلال الفوري على الأجهزة ومثيلات مفتوحة المصدر قابلة للتوسع بديلة للنماذج التجارية. يمكن للمهتمين الاطلاع على الورقة العلمية، الكود، النموذج على منصة هابينغ فايس، والتفاصيل الفنية. يُنسب الفضل في هذا البحث إلى فريق الباحثين المسؤول عنه. يُمكن أيضًا متابعتنا على تويتر، يوتيوب، سبوتيفاي، والانضمام إلى مجتمعنا على ريديت والاشتراك في نشرتنا الإخبارية لمزيد من المعلومات حول الذكاء الاصطناعي وعلوم البيانات. تقييم الخبراء: يُعتبر "في-4-ميني-فلاش-ريزينج" تطورًا مهمًا في مجال النماذج اللغوية المدمجة، حيث يجمع بين الأداء العالي وكفاءة الاستدلال في السياقات الطويلة. يعتقد الخبراء أن هذا النموذج يمكن أن يساهم بشكل كبير في تحسين تطبيقات الذكاء الاصطناعي التي تتطلب معالجة بيانات طويلة ومعقدة، مثل تحليل الوثائق القانونية والطبية. نبذة عن ميكروسوفت: ميكروسوفت هي شركة تكنولوجية أمريكية رائدة عالميًا، تأسست عام 1975 من قبل بيل غيتس وبول آلين. تُعد الشركة واحدة من أكبر الشركات المصنعة للبرمجيات في العالم، وتُركز بشكل كبير على تطوير الذكاء الاصطناعي والحوسبة السحابية والحلول الرقمية المبتكرة. من خلال إطلاق "في-4-ميني-فلاش-ريزينج"، تعزز ميكروسوفت مكانتها كشركة رائدة في تطوير النماذج اللغوية الفعالة والمفتوحة المصدر.