Search for a command to run...
التجريد: تُعد تقنية تقليل الشبكة (Network Pruning) من التقنيات الأساسية في تحسين كفاءة نماذج LLM، حيث تهدف إلى تقليل عدد المعلمات دون التأثير الكبير على الأداء. في هذه الدراسة، نقدم دراسة حالة حول تأثير أنماط إعادة التدريب (Retraining Variants) على فعالية تقليل الشبكة، مع التركيز على التوازن بين التقليل والحفاظ على الأداء. نختبر عدة استراتيجيات لإعادة التدريب، بما في ذلك إعادة التدريب الكامل (Full Retraining)، وإعادة التدريب الجزئي (Partial Retraining)، وإعادة التدريب باستخدام خوارزميات تقليل التدريب (Training-Free Pruning)، ونقيّم أداء كل استراتيجية من حيث دقة النموذج، وعدد المعلمات، وعدد الرموز (tokens) المطلوبة للإدخال. النتائج تُظهر أن اختيار نموذج إعادة التدريب المناسب يُعد عاملاً حاسماً في تحقيق تقليل فعّال دون فقدان الأداء، وتشير إلى أن إعادة التدريب الجزئي غالبًا ما يُحقق أفضل توازن بين الكفاءة والدقة. هذه الدراسة توفر إرشادات عملية لتطبيق تقليل الشبكة في نماذج LLM الحقيقية، مع التأكيد على أن "ما يهم" في تقليل الشبكة ليس فقط كمية التقليل، بل أيضًا نوعية إعادة التدريب المستخدمة.