كشف استكشاف أفكار AI أن النماذج تستخدم الرياضيات الشجرية لتعقب المعلومات المتغيرة

الملخص الرئيسي فريق بحث من معهد ماساتشوستس للتكنولوجيا MIT اكتشف أن نماذج اللغة مثل ChatGPT تستخدم طرق ذكية لتتبع التغييرات في السياقات المتقدمة بدلاً من تتبع التغييرات خطوة بخطوة هذه الطرق تشمل خوارزمية الجمعية Associative Algorithm وخوارزمية الجمعية الزوجية Parity-Associative Algorithm في خوارزمية الجمعية يتم تنظيم الخطوات القريبة ضمن مجموعات ثم حساب التخمين النهائي بطريقة متشابهة مع بنية الشجرة حيث يكون الترتيب العددي الأول هو الجذر ومع الصعود في الشجرة تتم مجموعات الأعداد على فروع مختلفة ويتم ضربها معًا في أعلى الشجرة للحصول على الترتيب النهائي للأعداد بينما تستخدم خوارزمية الجمعية الزوجية تقنية تقليم الخيارات قبل تجميعها تحديدًا تحدد ما إذا كان الترتيب النهائي نتيجة عدد زوجي أم فردي من إعادة ترتيب الأرقام ثم تقوم بتجميع التتابعات المجاورة من خطوات مختلفة قبل ضربها مشابهة لعملية خوارزمية الجمعية وفقا لبندا لي طالبة الدكتوراه في MIT ومرتبطة بـ CSAIL وهي المؤلفة الرئيسية للورقة فإن هذه السلوكيات تدل على أن المحولات transformers تقوم بالمحاكاة عبر المسح الجمعي بدلاً من تتبع التغييرات خطوة بخطوة تضيف لي أن بدلاً من فرض أن هذه النظم تشكل الاستدلالات حول البيانات بطريقة تسلسلية على غرار البشر ربما يجب تشجيعها على استخدام الأساليب التي تستخدمها بشكل طبيعي عند تتبع التغييرات واحد من الاتجاهات البحثية هو توسيع الحوسبة في أوقات الاختبار باتجاه البعد العميق بدلاً من البعد الرمزي وذلك من خلال زيادة عدد طبقات المحولات بدلاً من زيادة عدد رموز تسلسل الفكر أثناء الاستدلال في الاختبار تشير أعمال الفريق إلى أن هذا الأسلوب يمكن أن يسمح للمحولات ببناء أشجار استدلال أعمق استخدم الفريق أدوات لفحص كيفية عمل الخوارزميات الجمعية والجمعية الزوجية داخل نماذج اللغة أولًا استخدموا أسلوب التحقيق probing الذي يظهر المعلومات التي تتدفق عبر نظام الذكاء الاصطناعي وهو يشبه النظر إلى أفكار النموذج في لحظة معينة لرسم توقعاته الوسطية عن الترتيب النهائي للأرقام ثانية استخدموا أداة الترقيع التفعيلي activation patching التي تكشف مكان معالجة النموذج للتغييرات في الموقف وهي تتضمن إدخال معلومات خاطئة في أجزاء معينة من الشبكة بينما تبقى الأجزاء الأخرى ثابتة ثم مراقبة كيف سوف تعديل النظام توقعاته أظهرت هذه الأدوات أوقات حدوث الأخطاء وأوقات فهم النظم كيفية تخمين الترتيبات النهائية بشكل صحيح لاحظوا أن خوارزمية الجمعية تعلم بسرعة أكبر من خوارزمية الجمعية الزوجية وتملك أداءًا أفضل على التسلسلات الأطول تربط لي صعوبة الأخيرة في التعامل مع التعليمات المعقدة بالاعتماد المفرط على القواعد العامة heuristics لتخمين الترتيبات أشارت لي إلى أن نماذج اللغة التي تعتمد على القواعد العامة في وقت مبكر من التدريب تبدأ في بناء هذه الحيل في آلياتها ولكن هذه النماذج تميل إلى التعميم بشكل أسوأ من تلك التي لا تعتمد عليها وجدوا أن بعض أهداف التدريب المسبق يمكن أن تمنع أو تشجع هذه الأنماط لذلك قد يركزون في المستقبل على تصميم تقنيات تمنع النماذج من تبني العادات السيئة الرسالة السياقية تعليقات الخبراء والمتخصصين في المجال تؤكد أن نماذج اللغة الكبيرة تعتمد على تتبع الحالة في العديد من الاستخدامات من تقديم الوصفات إلى كتابة الأكواد إلى تتبع التفاصيل في المحادثات يوفر هذا البحث رؤى جديدة حول ما تقوم به نماذج اللغة ويوفر استراتيجيات واعدة لتحسينها شركة MIT هي مؤسسة بحثية وتعليمية رائدة في مجال العلوم والتكنولوجيا والذكاء الاصطناعي تساهم في تطوير تقنيات مبتكرة وفهم أعمق للأنظمة الذكية الأثار الأوسع نطاقًا لهذا البحث تشمل تحسين قدرات نماذج اللغة على الأداء في المهام الديناميكية الحقيقية مثل تتبع الكود وتتبع تطور القصص