نماذج اللغة الكبيرة تتذبذب في تقييم جدّة الأفكار البحثية
هل يمكننا الوثوق بنماذج اللغة الكبيرة للحكم على ما إذا كانت فكرة بحثية جديدة؟ ورقة بحثية، وبيانات، وشيفرة برمجية اليوم نُصدر دراسة بعنوان «أفكار قديمة، مشاكل جديدة»، وهي دراسة جديدة تبحث في مدى قدرة نماذج اللغة الكبيرة على تقييم أصالة الأفكار البحثية العلمية على نحو موثوق. وبجانب الورقة، ننشر معيار قياس، وبيانات، وشيفرة برمجية لاختبار محكّمي الأصالة، إضافة إلى مسار آلي يمكن الباحثين من إنشاء مجموعات تقييم جديدة. في معهد إيه آي تو، نطوّر أنظمة ذكاء اصطناعي تدعم مراحل مختلفة من الاكتشاف العلمي. يساعد داتافويجر الباحثين على استكشاف البيانات المهيكلة وتحليلها، ويولّد أوتوديسكفري الفرضيات ويختبرها، ويصوغ ثيورايزر الأدلة عبر كميات كبيرة من الأدبيات في صورة نظريات علمية مرشحة. ومع أستة، تشير هذه المشاريع إلى أنظمة يمكن أن تساعد الباحثين على الانتقال من فهم الأعمال السابقة إلى اقتراح أفكار جديدة واختبارها وتحسينها. لكن توليد الأفكار البحثية ليس سوى جزء من تحدّي أتمتة الاكتشاف العلمي. فلكي تكون الأفكار مفيدة، ينبغي أن تضيف شيئا جديدا حقا، مما يعني أن على هذه الأنظمة أن تستطيع التمييز بين اتجاه جديد جدير بالاهتمام واتجاه يعيد في الغالب تعبئة أعمال موجودة. وغالبا ما تُسلّم هذه المهمة إلى نموذج لغة كبير آخر، وهو ما نسميه محكّم الأصالة. يقيّم محكّم الأصالة ما إذا كانت الفكرة الجديدة جديدة فعلا بالنسبة إلى الأعمال السابقة، سواء بمفردها أو بمقارنتها بفكرة أخرى. ولا توجد طريقة قياسية لبناء مثل هذا المحكّم؛ إذ تختار فرق البحث نموذجا، وصيغة أمر، وصيغة تقييم، وميزانية استدلال، وأحيانا نظام استرجاع للأدبيات. ويمكن لهذه الخيارات أن تؤثر بشكل ملموس في الحكم. ومع ذلك، غالبا ما يُتحقق من هذه المحكّمات فقط على أبحاث كتبها البشر، وليس على الأفكار المولّدة بالذكاء الاصطناعي التي يُفترض أن تقيّمها فعلا. تشير نتائج معيارنا الجديد إلى أن تقييم الأصالة نفسه بعيد كل البعد عن أن يكون موثوقا. فعبر ستة محكّمات من نماذج اللغة الكبيرة: جي بي تي ٥-١، وجي بي تي ٥-٢، وجي بي تي ٥-٤، وكلود سونيت ٤-٥، وكلود أوبوس ٤-٥، وكلود أوبوس ٤-٦، تُنتج تغييرات صغيرة في إعداد التقييم أحكاما مختلفة بشكل كبير حول الأفكار نفسها. ففي تجربة واحدة، أدت تغييرات محدودة في صيغة الأمر إلى انخفاض دقة نموذج في تحديد أي فكرتين أكثر أصالة بأكثر من ٥٠ نقطة مئوية. ولا يُحسّن الاسترجاع الإضافي ولا زيادة الاستدلال الأحكام بالضرورة، كما أن نظامين مصممين خصيصا لتقييم الأصالة كانا أسوأ من خط أساس بسيط قائم على الأمر المباشر لكلود أوبوس ٤-٦. إذا كان للذكاء الاصطناعي أن يؤدي دورا أكبر في الاكتشاف العلمي، نحتاج إلى طرق أكثر موثوقية لمعرفة ما إذا كان يقترح فعلا شيئا جديدا. توفر هذه الدراسة أدوات لدراسة هذه المشكلة، وتبين في الوقت نفسه كم بقيت من أسئلة مفتوحة. لبناء معيار قياس لمحكّمي الأصالة لاختبار مدى قدرة محكّمي الأصالة على التمييز بين الأفكار البحثية الأكثر أصالة والأقل أصالة، احتجنا أولا إلى أمثلة فيها أدلة قوية على أصالة المساهمة العلمية الأصلية. لذلك بنينا مسارا آليا حول مراجعات أقران لمؤتمر آي سي إل آر ٢٠٢٦. فلم نعتبر قبول الورقة بدلا عن الأصالة، بل استخرجنا من المراجعات مقاطع يناقش فيها المراجعون صراحة أصالة مساهمة ما. وهذا التمييز أساسي؛ إذ يمكن قبول ورقة بحثية دون أن تكون بالغة الأصالة إذا كانت قوية في جوانب أخرى، وبالمثل يمكن أن ترفض ورقة ذات مساهمة أصيلة بسبب نقاط ضعف أخرى. أنشأنا مجموعة عالية الأصالة تضم ١٥٤ فكرة بحثية كتبها بشر، وذلك باختيار الأوراق المقبولة ضمن أعلى ١٠ في المئة في مجال البحث الخاص بمؤتمر آي سي إل آر، والتي أشاد المراجعون فيها بإيجابية بصدد أصالتها ولم يطعن أي مرجع في هذه الأصالة. وطبّقنا المعايير المعاكسة لبناء مجموعة أقل أصالة: ١٤٥ فكرة من أوراق رفضت ضمن أدنى ١٠ في المئة وأثار مراجعوها شكوكا في أصالتها دون أن يشيد أي مرجع بأصالتها. وفي فحص مستقل لعملية استخراج الإشارات من المراجعات، وافق مُعلِّم على اتجاه إشارة الأصالة المستخرجة في ٤٧ من ٥٠ حالة؛ ولم تكن أي حالة غير متفق عليها لتغيّر اعتبار المرجع مادحا للأصالة أو مطعنا فيها. تشكّل المجموعتان معا إعداد التقييم الأول الذي أسميناه «البشري فقط»، وهو يختبر قدرة محكّمي الأصالة على التمييز بين أفكار كتبها بشر وتوجد أدلة قوية على أن بعضها أعلى أصالة وبعضها أقل. لكن في الواقع، تستخدم محكّمات الأصالة بشكل متزايد لتقييم أفكار مولّدة بالذكاء الاصطناعي. لذلك أنشأنا إعدادا ثانيا باسم «بشري ومولّد». في هذا التجمع، قرنا الأفكار البشرية نفسها الموثّقة وعددها ١٥٤ بـ ١٥٤ فكرة أنتجها مولّد بسيط لنموذج لغة كبيرة. افترضنا أن الأفكار المولّدة أقل أصالة من نظيراتها البشرية؛ وهذه تسميات ضعيفة، وليست أحكاما مؤكدة لكل فكرة. لم يستقبل المولّد سوى مجال بحثي وتعليم يقترح فيه فكرة جديدة، دون بحث في الأدبيات أو أدوات أو تكرار أو تغذية راجعة. وبذلك قدمنا مقارنة محافظة بين أفكار مولّد أساسي ومساهمات من أوراق ضمن أعلى ١٠ في المئة في آي سي إل آر أشاد مراجعوها صراحة بأصالتها. وكفحوص إضافية، راجع خبير بشكل مستقل ٣٠ زوجا من الأفكار البشرية والمولّدة، مع تركيز قوي على الحالات التي أخطأ فيها أقوى محكّم لدينا، كما أعدنا كتابة الأفكار البشرية والمولّدة بالذكاء الاصطناعي في بنية مشتركة لاختبار ما إذا كانت المحكّمات تتأثر فقط بفروق الأسلوب الكتابي. فضّل الخبير الفكرة البشرية في جميع الأزواج الثلاثين، ولم يصف أي فكرة مولّدة بأنها أصيلة. من المهم أن عددا من نتائجنا الجوهرية لا يعتمد على التسميات أصلا. فإذا أعطى إعدادان معقولان للتقييم إجابات متعاكسة للزوج نفسه من الأفكار، فإن هذا الاختلاف ذاته يكشف عن عدم استقرار. يمكن للتغييرات الصغيرة أن تُنتج أحكاما مختلفة جدا باستخدام مجموعتينا من الأفكار البشرية والمولّدة، اختبرنا أداء ستة محكّمات من نماذج اللغة الكبيرة: جي بي تي ٥-١، وجي بي تي ٥-٢، وجي بي تي ٥-٤، وكلود سونيت ٤-٥، وكلود أوبوس ٤-٥، وكلود أوبوس ٤-٦، في تقييم الأصالة من خلال تقييم فردي أي إعطاء درجة أصالة مطلقة، وتقييم زوجي أي مقارنة فكرتين لتحديد الأكثر أصالة. وغيّرنا عاملا واحدا في كل مرة: صيغة الأمر، وميزانية الاستدلال، وما إذا كان بإمكان المحكّم رؤية أوراق ذات صلة، وكيفية تنسيق الأفكار، وكم عدد الأحكام التي تُجمع في الحكم النهائي، وبالنسبة إلى الأفكار المولّدة، أي نموذج أنتجها. جاءت أكبر التغيّرات في الأداء من صيغة الأمر التي نطلب بها من النموذج الحكم على الأصالة. فعلى سبيل المثال، عرضنا على جي بي تي ٥-٤ الأزواج نفسها من الأفكار البشرية والمولّدة، بحيث يضم كل زوج فكرة بشرية موثّقة وفكرة مولّدة بالذكاء الاصطناعي، وذلك بأمرين مختلفين. أخبر أحد الأمرين النموذج بأن المراجعين وجدوا في كل زوج فكرة واحدة فقط أصيلة، وطلب تحديد أيهما. أما الأمر الآخر فسأله ببساطة أي الفكرةين أصيلة. وعند التحول إلى الأمر الأبسط، انخفضت الدقة من ٩٣٫٥ في المئة إلى ٤٠٫٩ في المئة، أي دون عشوائي، وغيّر النموذج حكمه في أكثر من نصف الأزواج نفسها. في المقابل، أحدث التغيير نفسه في الأمر انخفاضا في الدقة يقارب سبع نقاط مئوية فقط في مجموعة «البشري فقط»، التي تقارن أفكارا بشرية بأدلة أقوى أو أضعف على الأصالة. وهذا يوحي بأن محكّم الأصالة قد يبدو مستقرا نسبيا على أفكار بحثية كتبها بشر، لكنه يتصرف بطريقة مختلفة جدا مع الأفكار المولّدة بالذكاء الاصطناعي. ومع ذلك، لم تكن الأفكار البشرية محصّنة من ذلك. فقد رصدنا تحولات كبيرة في مجموعة «البشري فقط» كذلك؛ إذ أدى التغيير نفسه إلى خفض دقة كلود أوبوس ٤-٦ بمقدار ٢١ نقطة. كانت التحولات فقط أقل حدة من تلك التي حدثت مع الأفكار المولّدة. ولم تكن هناك صيغة أمر أفضل على نحو مطلق. فعلى سبيل المثال، عند تقييم الأفكار منفردة، أدى حذف تعليمية تحذّر المحكّمات من اعتبار مساهمات تافهة أو تدريجية أصيلة إلى تحسين الدقة لبعض المحكّمات، بينما خفّضها لدى أخرى. فصيغة أمر تنجح مع نموذج معين قد لا تنقل الفوائد ذاتها إلى نموذج آخر. اختبرنا كذلك استخداما شائعا لمحكّمات الأصالة: مقارنة الأفكار من مولّدين للذكاء الاصطناعي. قرنا أفكار كلود أوبوس ٤-٥ بأفكار كلود سونيت ٤-٥، وأفكار جي بي تي ٥-٤ بأفكار جي بي تي ٥-١. وعبر تغييرات الأمر التي اختبرناها، تغيرت في المتوسط بين ربع وثلث الأحكام تقريبا لدى المحكّمات الستة. وهذا الخلاف يمكن قياسه دون افتراض أي المولّدين ينتج أفكارا أكثر أصالة، مما يبين كيف يمكن لاختيار أمر المحكّم أن يؤثر في المقارنات بين أنظمة توليد الأفكار. ولم تؤدِ زيادة البحث أو الاستدلال بالضرورة إلى أحكام أصالة أفضل. فقد أعطينا جي بي تي ٥-٦ سول ميزانية استدلال عالية جدا وبحثا حيا تكراريا محصورا في أركسيف، ثم قارناه بمحكّمين باستخدام استرجاع قياسي، حيث شاهد كل واحد منهم خمس ملخصات مسترجعة مسبقا. جميع المحكّمين في هذه المقارنة أجريت عليهم التجربة مرة واحدة لكل فكرة في مجموعة «بشري ومولّد». سجّل المحكّم الوكيلي درجة إف واحد الماكرو ٠٫٧٨، وهو أقل بإحدى عشرة نقطة من كلود أوبوس ٤-٦ عند ٠٫٨٩، ويقع ضمن النطاق نفسه تقريبا لإعدادات أبسط لكلود أوبوس ٤-٥ وجي بي تي ٥-٤، بينما كانت تكلفته نحو عشرة أضعاف لكل حكم بأسعار واجهات البرمجة الحالية. وفي هذا السياق، يقيس إف واحد الماكرو مدى قدرة المحكّم على تحديد الأفكار الأصيلة وغير الأصيلة؛ وكلما ارتفعت الدرجة كان الأداء أفضل. لم تكن الأنظمة المخصصة للتقييم أدق كذلك رغم تكلفتها الأعلى. ففي مجموعة «بشري ومولّد»، حققت صيغة بسيطة لكلود أوبوس ٤-٦ باستخدام استدلال منخفض وتصويت أغلبية عبر ثلاث استدعاءات درجة إف واحد الماكرو ٠٫٨٥٤ بتكلفة تقييم إجمالية مقدارها ٢٫٥٩ دولارا. بالمقارنة، سجل فاحص جدة الأفكار، وهو مسار قائمة على استرجاع الأدبيات وإعادة ترتيبها، درجة ٠٫٦٤٢ بتكلفة ٣٠٫٦٦ دولارا، بينما سجل «عالم الذكاء الاصطناعي» من ساكانا آي، الذي يقيّم الأصالة من خلال بحث تكرائي في سيمانتك سكولار، درجة ٠٫٧٧٢ بتكلفة ٨٢٫٠٥ دولارا. كلا المقيّمين المخصصين استخدم كلود أوبوس ٤-٦، باستدعاء واحد لكل قرار. بعبارة أخرى، كان خط الأساس البسيط القائم على الأمر أكثر دقة وأرخص بكثير من أي نظام مصمم خصيصا. تشير هذه النتائج مجتمعة إلى أن تقييم الأصالة هش بشكل خاص على الأفكار المولّدة بالذكاء الاصطناعي التي يُطلب من هذه الأنظمة تقييمها بشكل متزايد. نحو تقييم أكثر موثوقية للأبحاث الأصيلة تشير نتائجنا إلى أن تقييم الأصالة القائم على نماذج اللغة الكبيرة ما زال مشكلة مفتوحة كبيرة. فالمحكّمات التي تبدو موثوقة على أفكار بشرية قد تتصرف بطريقة مختلفة على أفكار مولّدة بالذكاء الاصطناعي؛ وقد تفيد صيغة أمر نموذج بعينه، وتضر بنموذج آخر؛ ولا تنتج المزيد من البحث أو الحسابات أحكاما أكثر اتساقا بالضرورة. ينبغي أن تختبر الأعمال المستقبلية المحكّمات على نوع الأفكار التي ستقيّمها فعلا، وأن تقيس الحساسية عبر الصيغ والنماذج، وأن تحسن طريقة إدخال الأدبيات السابقة، وأن تبني معايير قياس يمكن أن تتطور مع نمو الأدبيات العلمية وتحسن أنظمة الذكاء الاصطناعي. ومعياري ومسار البيانات القابل لإعادة الاستخدام نقطة انطلاق؛ إذ يمكن للباحثين تطبيقهما على مراجعات أقران جديدة، وعلى مجتمعات علمية أخرى، وعلى أجيال مستقبلية من محكّمي الأصالة. يعتمد توليد الأفكار آليا على أكثر من توليد اتجاهات بحثية محتملة؛ إذ نحتاج كذلك إلى طرق تمييز ما إذا كانت هذه الأفكار جديدة حقا. ومن خلال جعل نقاط ضعف محكّمات الأصالة الحالية أسهل للقياس، نأمل أن يساعد هذا الإصدار الباحثين على بناء طرق أكثر متانة لتقييم الأفكار البحثية المولّدة بالذكاء الاصطناعي.
