أظهر اختبار أن الاسترجاع أفضل ذاكرة لمساعد ذكاء اصطناعي
في أواخر سبتمبر ٢٠٢٦، سلّط اختبار دولفين بينش، الذي أعدته شركة مم زيرو، الضوء على جانب أقل اهتماماً في أبحاث ذاكرة مساعدات الذكاء الاصطناعي: ليس ما إذا كان النموذج قادراً على ترديد معلومة، بل ما إذا كان سيستخدمها لتنفيذ مهمة فعلية. وينطلق المعيار من أن أسئلة الاسترجاع البسيطة قد توحى بإجابة جاهزة، لذلك اعتمد على ثلاث شخصيات محاكاة، لكل منها سجل محادثة يبلغ نحو نصف مليون قطعة نصية ومئتا مهمة، مع اشتراط الإبلاغ عن الدقة والتكلفة والزمن، وسجل إعداد من الشركة أعلى نتيجة بلغت ٧٠٫٦٧ في المئة من المهام. لم يكرّر الباحث الاختبار الأصلي، ولم يختبر أي منتج تجاري، بل بنى تجربة مستقلة أصغر للإجابة عن سؤالين: هل يترجم الحفظ إلى فعل؟ وبأي كلفة؟ اعتمدت التجربة شخصية مدير مشروع وهمية بتاريخ محادثة سنوي يضم ثمانين مدخلة ونحو أربعين ألف قطعة نصية، منها ثلاثون معلومة أساسية وأحد عشر تصحيحاً لاحقاً وسجل يومي متفرق. واختيرت ثلاثون مهمة تتطلب استدعاء أداة، مثل جدولة اجتماع أو طلب طعام أو إرسال رسالة، وثلاثون سؤالاً مباشراً عن الحقائق ذاتها. واختبر أربعة تصميمات للذاكرة: الذاكرة الفارغة، والملخص المتجدد، والاسترجاع الانتقائي، وإدراج السجل الكامل في الطلب. جرت التجارب على نموذجين صغيرين من أوبن إيه آي وأنثروبيك، وسجلت كل محاولات التنفيذ في منصة لتعقب التجارب. أظهرت النتائج أن الاسترجاع الانتقائي كان أفضل قيمة مقابل التكلفة؛ فقد أنجز ٨٨٫٩ في المئة من المهام على نموذج أوبن إيه آي الصغير، و٨٥٫٦ في المئة على نموذج أنثروبيك الصغير، بتكلفة ٠٫٠٠٧ دولار و٠٫٠٨١ دولار لكل ثلاثين مهمة على التوالي. وفي المقابل، رفع الإدراج الكامل للسجل الكلفة إلى ٠٫٢٣٢ دولار و١٫٦٦١ دولار، أي بعشرين إلى واح وثلاثين ضعفاً، دون تحسّن في الدقة على النحو المطلوب؛ بل هبطت مهام نموذج أوبن إيه آي إلى ٥٨٫٣ في المئة رغم إجابته ٩٦٫٧ في المئة عن الأسئلة. وهذا الفارق البالغ ٣٨ نقطة كشف خللاً جوهرياً: النموذج يتذكر، لكنه يفشل في تحويل المعلومة إلى فعل، خاصة عند وجود تصحيحات لاحقة يضيع بينها السجل الكامل. وسار الملخص المتجدد في اتجاه مختلف، إذ أنهى المهام بنسبة أعلى مما أجاب عن الأسئلة على نموذج أوبن إيه آي، لكنه فقد حقائق أثناء التلخيص؛ فحافظ الملخص الناتج عن النموذج الصغير على أحدث قيمة في عشرين من ثلاثين حقيقة، ونجح على نموذج أنثروبيك في ثمان وعشرين. أما الاسترجاع فقد نجح في نحو ٩٥ في المئة من المهام حين جلب القطع المطلوبة، لكن كل محاولة لم يجلب فيها القطع اللازمة فشلت. وأخفق التصميم الخالي من الذاكرة في كل المهام، ما يؤكد أن الاختبار صمم لقياس الاستفادة من التاريخ لا الحدس. ويخلص التقرير إلى أن اختبار الإجابة عن السؤال لا يكفي؛ فالأهم قياس الفعل، وكلفة الذاكرة، وسرعة الاستجابة. كما أن إدخال التاريخ بالكامل ليس حكماً أفضل بالضرورة. وتنصح التجربة المطورين بمحاكاة مهامهم الحقيقية وسجلاتهم، وإضافة حقائق تتغير مع الزمن، ومقارنة أداء النماذج بين القدرة على الحفظ والقدرة على التصرف.
