النماذج اللغوية الكبيرة مُستَهْدِفَة بالأسماك الحمراء: استكشاف حل المشكلات الإبداعية وتأثير آينشتيل using the Only Connect Wall Dataset

سعي البشر لتحقيق الذكاء الاصطناعي المقلد للإنسان كان موضوعًا مستمرًا في أبحاث الذكاء الاصطناعي منذ نشأته. لقد أعادت التطورات التقنية والقدرات الناشئة لأحدث مجموعة من نماذج اللغات الكبيرة (LLMs) إحياء هذا الموضوع ليتجاوز الأوساط الأكاديمية إلى الثقافة السائدة. بينما تختبر المهام القياسية الحديثة لمعالجة اللغة الطبيعية بعض جوانب السلوك المقلد للإنسان (مثل مهام "السلوك البشري" في BIG-bench)، فإن القليل منها، إن وجد، يفحص قدرات حل المشكلات الإبداعية. يعد حل المشكلات الإبداعية لدى البشر موضوعًا مُدروسًا جيدًا في العلوم العصبية المعرفية، حيث تستخدم الاختبارات القياسية بشكل أساسي قدرة ربط الكلمات الدلالية (المختلفة) كمقياس للإبداع. يمكن أن تعوق التعرض للمحفزات المضللة - التي تُسمى بالأسماك الحمراء (red herrings) - أداء الإنسان في هذه المهام عبر تأثير الثبات ونموذج Einstellung. في دراسات العلوم العصبية المعرفية، يتم إحداث مثل هذه الثباتات بشكل تجريبي عن طريق تعرض المشاركون لكلمات غير صحيحة متشابهة كتابيًا قبل الكلمات المنقسمة أو الدلالية اللاحقة. يحاكي الجزء "Connecting Wall" من برنامج المسابقات البريطاني الشهير "Only Connect" صياغة اختبار الروابط البعيدة لـ Mednick (RAT) مع وجود أسماك حمراء متعمدة ومدمجة، مما يجعله مجموعة بيانات مثالية لاستكشاف ودراسة تأثير الثبات ونموذج Einstellung من العلوم العصبية المعرفية في نماذج اللغات الكبيرة. في هذا البحث، نقدم مجموعة البيانات الجديدة "Only Connect Wall" (OCW) ونبلغ بنتائج تقييمنا لنماذج اللغات المعالجة مسبقًا والمختارة من نماذج اللغات الكبيرة على مهام حل المشكلات الإبداعية مثل تصنيف الكلمات الدلالية بواسطة الروابط المختلفة، وتحديد الروابط الصحيحة ضمن مجال المعرفة المفتوح في كل مجموعة. كما نولد اصطناعيًا مجموعتي بيانات إضافيتين: OCW-عشوائية (Randomized)، OCW-شبكة الكلمات (WordNet) لتحليل فرضيتنا حول الأسماك الحمراء في نماذج اللغات. الرمز البرمجي والرابط لمجموعة البيانات متاحان على https://github.com/TaatiTeam/OCW.