بحث جوجل يكشف: أنظمة الذكاء الاصطناعي تتخلى عن الإجابات الصحيحة تحت الضغط

دراسة جديدة أجراها باحثون من غوغل ديبمايند وجامعة لندن كوليدج تكشف كيف تشكل وتحافظ النماذج اللغوية الكبيرة (LLMs) على ثقتها وتخسرها في إجاباتها النتائج تظهر تشابهات ملحوظة بين التحيزات المعرفية للنماذج اللغوية الكبيرة والبشر بينما تبرز أيضًا اختلافات كبيرة البحث يكشف أن النماذج اللغوية الكبيرة يمكن أن تكون مفرطة الثقة في إجاباتها الخاصة ولكنها تخسر هذه الثقة بسرعة وتغير رأيها عند تقديم حجة مضادة حتى لو كانت هذه الحجة خاطئة فهم سلوك هذه النماذج يمكن أن يكون له تبعات مباشرة على كيفية بناء تطبيقات LLMs خاصة واجهات الدردشة التي تمتد لعدة دورات -factor مهم في نشر النماذج اللغوية الكبيرة بأمان هو أن إجاباتها تكون مصحوبة بشعور موثوق بالثقة (الاحتمال الذي يُسنَد إلى رمز الإجابة) نعلم أن النماذج اللغوية الكبيرة يمكنها إنتاج هذه درجات الثقة ولكن مدى قدرتها على استخدامها لقيادة السلوك التكيفي غير محدد بشكل كافي هناك أيضًا أدلة تجريبية تشير إلى أن النماذج اللغوية الكبيرة يمكن أن تكون مفرطة الثقة في إجابتها الأولية ولكنها تصبح حساسة للغاية للانتقاد وتتحول بسرعة إلى عدم الثقة في هذا الخيار لمحاكاة هذا السلوك قام الباحثون بتطوير تجربة مراقبة لاختبار كيفية تحديث النماذج اللغوية الكبيرة لثقتهن وتحديد ما إذا كان يجب تغيير إجاباتهن عند تقديم المشورة الخارجية في التجربة تم تقديم سؤال ثنائي الاختيار مثل تحديد العرض الجغرافي الصحيح لمدينة من خيارين بعد أن قدمت النموذج اللغوي الكبير اختيارها الأولي تم تقديم المشورة من نموذج لغوي كبير وهمي «نموذج المشورة» والذي جاء مع تصنيف دقة صريح (مثل «هذا نموذج المشورة دقيق بنسبة ٧٠٪») ووافق أو عارض أو ظل حياديًا بشأن اختيار النموذج اللغوي الكبير الأولي في النهاية طُلب من النموذج اللغوي الكبير أن يتخذ اختياره النهائي جزء رئيسي من التجربة كان التحكم فيما إذا كان النموذج اللغوي الكبير يستطيع رؤية إجابته الأولى أثناء القرار الثاني في بعض الحالات تم عرضها وفي حالات أخرى تم إخفاؤها هذا الإعداد الفريد الذي لا يمكن تكراره مع المشاركين البشر الذين لا يستطيعون ببساطة نسيان اختياراتهم السابقة أتاح للباحثين عزل كيف يؤثر ذاكرة القرار السابق على الثقة الحالية الحالة الأساسية حيث تم إخفاء الإجابة الأولى وكانت المشورة حيادية أثبتت كيف يمكن أن تتغير إجابة النموذج اللغوي الكبير بسبب التباين العشوائي في معالجة النموذج التركيز كان على كيفية تغيير ثقة النموذج اللغوي الكبير في اختياره الأصلي بين الدورتين الأولى والثانية مما يوفر صورة واضحة لكيفية تأثير المعتقد الأولي على «تغيير الرأي» في النموذج الباحثون فحصوا أولًا كيف أثرت رؤية الإجابة الأولى للنموذج اللغوي الكبير على ميلها لتغيير إجابتها لاحظوا أن عندما كان بإمكان النموذج رؤية اختياره الأولي أظهرت ميلًا أقل للتبديل مقارنة بما عندما تم إخفاء الإجابة وهذا الاكتشاف يشير إلى تحيز معرفي محدد كما يشير البحث «هذا التأثير - الميل للتمسك بالاختيار الأولي بمعدل أعلى عندما كان هذا الاختيار مرئيًا بدلاً من إخفائه أثناء التفكير في الاختيار النهائي - يرتبط ارتباطًا وثيقًا بظاهرة تم وصفها في دراسة صنع القرار لدى البشر التحيز الداعم للاختيار» الدراسة أكدت أيضًا أن النماذج تدمج المشورة الخارجية عند مواجهة المشورة المعارضة أظهرت النماذج اللغوية الكبيرة ميلًا أكبر لتغيير رأيهن وميلًا أقل عند تقديم المشورة الداعمة «يوضح هذا الاكتشاف أن النموذج اللغوي الكبير يدمج اتجاه المشورة بشكل صحيح لتعديل معدل تغيير الرأي» كما يكتب الباحثون ولكن اكتشفوا أيضًا أن النموذج حساس للغاية للمعلومات المعاكسة ويقوم بتحديث الثقة بشكل كبير نتيجة لذلك هذا السلوك معاكس لميول التأكيد التي غالبا ما تُرى عند البشر حيث يفضل الناس المعلومات التي تؤكد معتقداتهم الحالية اكتشف الباحثون أن النماذج اللغوية الكبيرة «ترجح المشورة المعاكسة بدلاً من المشورة الداعمة سواء كان الاختيار الأولي للنموذج مرئيًا أو مخفيًا من النموذج» تفسير محتمل هو أن تقنيات التدريب مثل التعلم التعزيزي من ملاحظات البشر (reinforcement learning from human feedback) قد تشجع النماذج على الانقياد بشكل مفرط للمدخلات المستخدمين وهو ظاهرة تُعرف بالتطبيل (sycophancy) والتي تظل تحديًا للمختبرات الذكاء الاصطناعي هذه الدراسة تؤكد أن أنظمة الذكاء الاصطناعي ليست الوكلاء المنطقيين الخالصين الذين غالبًا ما يُتصورون على أنهم كذلك يعبرون عن مجموعة من التحيزات بعضها يشبه الأخطاء المعرفية البشرية وبعضها فريد منها يمكن أن يجعل سلوكها غير متوقع في حدود البشرية لتطبيقات الشركات هذا يعني أنه في محادثة ممتدة بين شخص وأداة الذكاء الاصطناعي يمكن للمعلومات الأكثر حديثًا أن يكون لها تأثير غير متناسب على استدلال النموذج اللغوي الكبير (خاصة إذا كانت متعارضة مع إجابة النموذج الأولية) مما قد يتسبب في التخلي عن الإجابة الصحيحة الأولى لكن كما تظهر الدراسة يمكن أيضًا التلاعب بذاكرة النموذج اللغوي الكبير لتجنب هذه التحيزات غير المرغوب فيها بطرق لا يمكن تكرارها مع البشر يمكن للمطورين الذين يبنون وكلاء المحادثة المتعددة الدورات تنفيذ استراتيجيات لإدارة سياق الذكاء الاصطناعي على سبيل المثال يمكن تلخيص المحادثة الطويلة بشكل دوري مع تقديم الحقائق والقرارات الأساسية بطريقة حيادية وخالية من أي إشارة إلى وكيل قدم كل اختيار ثم يمكن استخدام هذا الملخص لبدء محادثة مكثفة جديدة مما يوفر للنموذج لغة جديدة للتفكير من خلالها ويساعد في تجنب التحيزات التي يمكن أن تتسلل خلال المحادثات الممتدة مع زيادة اعتماد العديد من الصناعات على النماذج اللغوية الكبيرة أصبح فهم تفاصيل عمليات صنع القرار لديها ليس مجرد خيار بل أمر ضروري يتبع البحث الركيزي مثل هذا يمكن أن يساعد المطورين في التوقع والإصلاح لهذه التحيزات الذاتية مما يؤدي إلى تطبيقات أكثر قدرة والأهم من ذلك أكثر ثباتًا وموثوقية رسالة سياقية الخبراء في مجال الذكاء الاصطناعي يعتبرون هذه النتائج مهمة لفهم كيفية بناء تطبيقات الذكاء الاصطناعي بشكل أفضل وأكثر أمانًا تبقى غوغل ديبمايند وجامعة لندن كوليدج في طليعة البحث العلمي حول النماذج اللغوية الكبيرة وتأثيرات السلوك المعرفي فيها الآثار الأوسع لهذه الدراسة تشمل تعزيز موثوقية الذكاء الاصطناعي في التطبيقات الحيوية مثل الرعاية الصحية والمالية وتكنولوجيا المعلومات