HyperAIHyperAI

Command Palette

Search for a command to run...

تكشف نماذج جيما عن دائرة استرجاع الحقائق ثلاثية الأطوار

كشفت دراسة حديثة في مجال التفسير الميكانيكي للذكاء الاصطناعي، عن وجود دائرة هيكلية ثلاثية المراحل مسؤولة عن استرجاع الحقائق داخل عائلتي نماذج Gemma-2B وGemma-12B-IT. استند البحث إلى تحليل تقني متعمق باستخدام تقنية لصق التنشيط على 60 زوجاً من الموجهات النصية تغطي 20 فئة معرفية مختلفة، بهدف تتبع مسارات البيانات وتحديد المواقع الدقيقة لتخزين المعلومات واستخراجها داخل بنية المحول. أثبتت التجارب ترسيخاً لنموذج دائري منظم يتكون من ثلاث مراحل متتالية. تبدأ المرحلة الأولى بالتخزين في الطبقات المبكرة والمتوسطة، حيث تُشفَّر الحقائق كاتجاهات في تيار التبقية عند موقع توكن الكيان، متجاوزةً بناتج رؤوس الانتباه والمضاعلات العصبية بفارق كبير في التأثير السببي. تنتقل المرحلة الثانية إلى التوجيه، الذي تقوم به شبكة موزعة من رؤوس الانتباه دون هيمنة عنصر واحد، مما يعكس طبيعة الحسابات الجماعية في هذه الطبقات. وتختتم المرحلة الثالثة بالاسترجاع، حيث تعمل الطبقات المتأخرة كقنوات تمرير مباشر لقراءة الإجابة المشفرة مسبقاً دون إعادة معالجتها، وهي ظاهرة ثابتة عبر جميع الفئات المعرفية ونماذج الدراسة. وسّع الباحثون التحليل ليشمل نموذج Gemma-12B-IT، ليجدوا أن الدائرة الثلاثية تتكرر على النطاق الأكبر مع انتقال مراحل التخزين والقراءة طبقات إضافية بشكل متناسب، بينما يبقى نمط التوجيه موزعاً وذا تأثير محدود للرؤوس الفردية مقارنة بهيمنة تيار التبقية. لفتت الدراسة أيضاً إلى عائق تقني جوهري يتمثل في انزياح البيانات الناتج عن اختلاف سلوكيات رموز التوكن بين النماذج، مما يستلزم معايرة الموجهات النصية عبر كل نموذج مستهدف قبل أي مقارنة ميكانيكية دقيقة لضمان صحة النتائج. تأسس هذه النتيجة قاعدة صلبة لفهم الآليات الداخلية للنماذج التحويلية، وتمهد الطريق للتدخلات المستهدفة عند فشل استرجاع المعلومات أو ظهور تحيزات معرفية. وتشير الخطط المستقبلية للباحثين إلى استخدام تقنيات لصق المسار لفصل الروابط السببية الدقيقة بين المكونات، بالإضافة إلى تطبيق التحليل على عائلات نماذج أخرى مثل LLaMA واختبار تأثير الضبط الدقيق أو التكميم على استقرار الدائرة. يعكس هذا العمل خطوة تحويلية نحو شفافية هيكلية أعمق للذكاء الاصطناعي، مما يسهل مراقبة سلوك النماذج وتحسين موثوقيتها في التطبيقات المعتمدة على الحقائق الدقيقة.

الروابط ذات الصلة