Edward Y. Chang Ethan Y. Chang

الملخص

يمكن لنموذج اللغة الكبير أن يُغيّر إجاباته نتيجة تعديلات بسيطة لا تُعدّ ضارة، لكنها ذات تأثير عملي ملموس: فعند إعادة ترتيب المقاطع، تتأرجح نتائج نماذج RAG؛ وتتآكل التماثلات المُكتسبة أثناء التدريب المسبق عند التخصيص الدقيق؛ وتسلك نماذج المناقشة أو التحفيز التفكيري مسارات تعتمد على المسار (path-dependent)؛ وتؤدي عمليات دمج أو إعادة ترتيب المُرَوِّج (compiler fusion أو reordering) إلى اهتزاز في القيم اللوجية بالقرب من الحدود القرارية. تُخلّ هذه الفشلات بالتماثلات المقصودة، وتُعطل عمليات التكامل المستمر، وتُجبر الفرق على التضحية بالأمان من أجل السرعة. ورغم أن تأثيرات هذه المشاكل صغيرة، إلا أنها موزعة عبر الطبقات والمواقع، وحساسة لطول السياق وترتيب التقييم، ويتطلب إصلاحها تكلفة عالية من خلال إعادة التدريب أو التحقق الرمزي.نقدّم WILSON، وهي مجموعة تشخيصية ما بعد التنفيذ بسيطة للغاية، تحوّل فحوصات الدوائر البسيطة وإعادة الترتيب على التمثيلات الداخلية إلى إشارات نظامية. يجمع WILSON بين خريطة انحناء (curvature map) خالية من المعكوس (inverse-free)، محسوبة عبر مشتقات القيم المتجهة (JVPs) وتحاليل هاتشينسون (Hutchinson probes)، وعوامل تبادل على مستوى التنشيط (activation-level commutators) التي تُشير إلى خطر إعادة الترتيب. وتُحسب هذه الإشارات بتكاليف منخفضة، وهي مُجرّدة من النموذج (model-agnostic) بالنسبة للنماذج القياسية من نوع Transformers، وتُصدّر كحدود معيارية وملفات CSV يمكن استخدامها من قبل أدوات التنسيق (orchestrators).وهذا يمكّن من اتخاذ إجراءات عملية مباشرة: حماية نماذج RAG من آثار الترتيب، وتحديد تراجعات التخصيص الدقيق، وثبات مسارات المناقشة والسياقات الطويلة متعددة الجولات، وفرض رقابة على عمليات الدمج أو إعادة الترتيب أثناء التنفيذ. باختصار، يساعد WILSON على التنبؤ بالفشل واعتماد التحسينات الآمنة، مما يسمح بتحسين الموثوقية والإنتاجية معًا دون الحاجة لتغيير بنية النموذج أو عملية التدريب.