Giorgos Nikolaou Tommaso Mencattini Donato Crisostomi Andrea Santilli Yannis Panagakis Emanuele Rodola'

الملخص

تُعد مكونات نموذج الترانسفورمر، مثل الدوال التفعيلية غير الخطية وعمليات التطبيع، غير قابلة للاشتقاق (non-injective) بشكل جوهري، مما يوحي بأن مدخلات مختلفة قد تُمَثّل بخرج واحد، ما يحول دون استعادة دقيقة للمدخل الأصلي من تمثيلات النموذج. في هذا البحث، نتحدى هذا الرأي. أولاً، نُثبت رياضيًا أن نماذج لغة الترانسفورمر التي تُحول التسلسلات المدخلة المنفصلة إلى تسلسلات تمثيلية مستمرة تكون قابلة للاشتقاق (injective) وبالتالي خالية من الفقدان، وهي خاصية تُثبَت عند التهيئة (initialization) وتحتفظ بها خلال التدريب. ثانيًا، نُؤكد هذا الناتج تجريبيًا من خلال إجراء مئات المليارات من اختبارات التصادم على ستة نماذج لغة متطورة، ولاحظنا عدم وجود أي تصادم. ثالثًا، نُطبّق مفهوم القابلية للاشتقاق عمليًا: نُقدّم SipIt، أول خوارزمية تُثبت قابليتها وفعالية استرداد النص المدخل الدقيق من التفعيلات المخفية، مع إثبات ضمانات زمنية خطية (linear-time guarantees) وتبين قابليتها الفعلية للعكس (exact invertibility). في المجمل، يُثبّت بحثنا القابلية للاشتقاق كخاصية جوهرية قابلة للاستغلال في نماذج اللغة، مع تداعيات مباشرة على الشفافية، وقابلية التفسير، وDeployment الآمن.