Command Palette
Search for a command to run...
تتجاوز قدرة الذكاء الاصطناعي 27B على إعادة إنتاج أوراق العلماء قدرة GPT-5.5/Claude Opus 4.8؛ يستكشف فاراداي الابتكار العلمي طويل الأجل.
تُعدّ قابلية تكرار نتائج الأبحاث العلمية حجر الزاوية في أي نظام معرفي علمي. فهي لا تضمن فقط موثوقية نتائج الأبحاث الحالية، بل توفر أيضاً أساساً لإجراء المزيد من التجارب.
مع ذلك، تواجه العديد من المجالات العلمية حاليًا "أزمة في قابلية التكرار"، لا سيما في مجال تعلم الآلة. نظريًا، يمكن أن توفر أنظمة الذكاء الاصطناعي القائمة على نماذج اللغة الكبيرة (LLMs) حلًا قابلًا للتطوير لهذه الأزمة؛ إلا أنه عمليًا، تُشكل قابلية التكرار تحديًا لأنظمة الذكاء الاصطناعي الحالية في ثلاثة مجالات رئيسية.أولاً،بحسب التعريف، تكمن مشكلة إعادة إنتاج ورقة بحثية في أن المعلومات غير مكتملة. أي أن الورقة لا تقدم سوى ضغطاً غير دقيق لعملية البحث الكاملة التي أدت إلى الاكتشاف، وبالتالي فهي تغفل حتماً بعض التفاصيل.ثانيًا،يتم تدريب وكلاء الذكاء الاصطناعي الحاليين بشكل مكثف على مشاكل محددة جيدًا ومغلقة، بينما تتطلب عملية إعادة إنتاج الورق من الوكلاء إجراء استكشاف مفتوح النهاية؛ وأخيرًا، بالنسبة لمهام إعادة الإنتاج العامة، لا توجد دالة مكافأة واضحة يمكن استخدامها لتحسين "التسلق" المستمر.
استجابةً لهذا التحدي،قام فريق بحثي من شركة Inherent Labs بتدريب وكيل علمي يعمل بالذكاء الاصطناعي يُدعى فاراداي، والذي يمكنه إعادة إنتاج أوراق البحث العلمي.يستخدم هذا النظام القائم على نموذج التعلم الموجه بالتعلم (LLM) برنامج Codex GPT-5.5 كأداة، على غرار استخدام باحثي الذكاء الاصطناعي البشريين للأنظمة المبرمجة. في تقييم معياري، تفوق نظام Faraday على كل من Claude Opus 4.8 وGPT-5.5 في مهمة تعلم آلي موزعة (73%) ومهمة اختبارية (60%) للذكاء الاصطناعي في العلوم.
تجدر الإشارة إلى أن نموذج فاراداي يحتوي على 27 مليار مُعامل فقط، ومع ذلك فهو قادر على توجيه نموذج يحتوي على 5 تريليونات مُعامل، محققًا بذلك تحسنًا ملحوظًا في الأداء مقارنةً باستخدام هذا النموذج الأكبر حجمًا بمفرده. ويُظهر التحليل النوعي لتشغيل واحد أن نموذج فاراداي يتبنى منهجًا أكثر دقة من الناحية العلمية.
تم نشر نتائج البحث ذات الصلة، بعنوان "تدريب علماء الذكاء الاصطناعي على تكرار البحث"، كنسخة أولية على موقع arXiv.
أبرز الأبحاث:
* قامت هذه الدراسة بإنشاء مساحة مهام تم إنشاؤها تلقائيًا تحتوي على 310 مهمة لإعادة إنتاج الرسوم البيانية من 100 ورقة بحثية في مجال التعلم الآلي والذكاء الاصطناعي للعلوم، والتي تمتد من عام 1990 إلى عام 2026.
تقترح هذه الدراسة طريقة مستقرة لتدريب GRPO بعد التدريب، وهي مناسبة للمهام طويلة الأمد وغير القابلة للتحقق. تتضمن هذه الطريقة معيار تقييم لكل مهمة، وتجميع نتائج التقييم من عينات متعددة، وآلية لتخصيص الرصيد جولةً بجولة.
* درّبت هذه الدراسة نظامًا آليًا مزودًا بـ 27 مليار مُعامل، قادرًا على استخدام أنظمة البرمجة كأدوات (CAT). وتُظهر التجارب، كميًا ونوعيًا، أن منهجية فاراداي تتميز بدقة علمية أكبر.
عنوان الورقة:
https://hyper.ai/papers/2608.13331
إنشاء نسخة طبق الأصل من مساحة المهام التي تم إنشاؤها تلقائيًا
ولتدريب فاراداي، قام الباحثون بإنشاء مساحة مهام قابلة للتوسع تسمى ريبليكا. تتكون مساحة مهام Replica من 242 مهمة تدريبية و 68 مهمة اختبار، والتي تم استخلاصها من 100 ورقة بحثية معروفة في مجال التعلم الآلي (ML) والذكاء الاصطناعي للعلوم.تتطلب كل مهمة من العامل إعادة إنتاج شكل النتيجة من الورقة البحثية. يمكن للعامل الحصول على الورقة الأصلية بعد إخفاء الشكل، ويخضع لحد زمني قدره 60 دقيقة، مع قدرته على استخدام شريحة 1/7 من وحدة معالجة الرسومات H200 فقط.
يُوفر النظام للوكيل بيئة مُحوسبة، مُحمّلة مُسبقًا بمكتبات بحثية مُفيدة، ويُتيح الوصول إلى الإنترنت، بالإضافة إلى تنبيهات النظام، وتنبيهات المهام. إذا تعذّر إكمال تجربة مُحددة في البحث خلال الوقت المُخصص، ستُرشد التنبيهات الوكيل إلى توسيع نطاق التجربة قدر الإمكان لتُطابق التجربة الأصلية قبل إكمالها.
* تم استخلاص مهام التدريب من أوراق بحثية في مجال التعلم الآلي نُشرت بين عامي 1990 و 2026.
* تم استخلاص مهام الاختبار من أوراق بحثية منشورة في مجال الذكاء الاصطناعي للعلوم بين عامي 2012 و 2026.
تجدر الإشارة إلى أن هذه المهام تُنشأ تلقائيًا، مما يمنح نطاق المهام بأكمله قابلية توسع جيدة. بالنسبة لأي ورقة بحثية، يحوّلها النظام إلى مهمة عبر ثلاث مراحل لمعالجة اللغة المرئية، جميعها مدعومة ببرنامج Gemini 2.5 Pro. أولًا، تحدد مرحلة المسح جميع الأشكال الناتجة وشروحها في النص؛ ثم، تحدد مرحلة التحديد المربعات المحيطة بالأشكال في حلقة إصلاح مدقق LLM؛ وأخيرًا، يُخفى الشكل نهائيًا من ملف PDF. تتكون المهمة الكاملة من ثلاثة أجزاء: الشرح، والشكل الأصلي المستخرج ("الرسم البياني الأصلي")، والورقة البحثية بعد إخفاء الشكل.
سيقوم فريق البحث بمراجعة كل مهمة يدويًا واستبعاد المهام ذات الجودة المنخفضة، مثل تلك التي لا تحتوي على تغطية كافية للمخططات، أو المخططات التي ليست مخططات النتائج، أو العناوين غير الصحيحة.تساهم كل ورقة بحثية بـ 1-13 مهمة، بمتوسط 2 مهمة.
طريقة مستقرة لـ GRPO بعد التدريب مناسبة للمهام طويلة الأمد وغير القابلة للتحقق
إطار عمل الوكيل البسيط
يوفر برنامج Agent Harness واجهة بين نماذج اللغة الكبيرة (LLMs، حيث تكون كل من المدخلات والمخرجات عبارة عن رموز) والبيئة (إجراءات الإدخال/حالات الإخراج):
* الإمكانيات والسياق المتاحان
ينفذ البرنامج العمليات من خلال خمس استدعاءات للدوال: `apply_patch`، و`read_file`، و`list_dir`، و`grep_files`، و`shell`. يستطيع برنامج Faraday استخدام أداة shell لفصل العمليات الخلفية عن الجلسة الحالية، مما يسمح له بتنفيذ جولات متعددة من العمليات مع تشغيل أوامر متعددة بالتوازي. تُنفذ استدعاءات الأدوات ضمن الجولة الواحدة بشكل متزامن، وتُضاف نتائجها إلى سجل العمليات بالترتيب الذي تم استدعاؤها به. يتوقف التشغيل في حال حدوث تجاوز في سياق التنفيذ، أو تجاوز حد 16 ألف رمز مميز لكل جولة، أو حدوث خطأ في الاستدلال؛ حتى عمليات التشغيل غير المكتملة تُقيّم كغيرها. بخلاف ذلك، يتوقف التشغيل عندما يستجيب Faraday مباشرةً دون استدعاء أي أدوات، أو عند الوصول إلى حد وقت التشغيل الفعلي المحدد.
* استخدام الوكلاء القابلين للبرمجة كأدوات (CAT)
يستخدم نظام فاراداي وكيل برمجة متطورًا كأداة. يقوم برنامج وسيط بتشغيل واجهة سطر الأوامر (CLI) الخاصة بـ Codex بطريقة غير تفاعلية. يستطيع فاراداي استدعاء هذا البرنامج عبر أداة سطر الأوامر والحصول على سجل لأوامر وكيل البرمجة ومخرجاته ورسائله، بما في ذلك الوقت المستغرق لكل خطوة. افتراضيًا، تستمر الاستدعاءات المتتالية باستخدام حالة جلسة وكيل البرمجة السابقة؛ ومع ذلك، يمكن لفاراداي أيضًا اختيار إعادة ضبط السياق أو تشغيل عدة وكلاء برمجة بالتوازي. يفرض البرنامج الوسيط مهلة زمنية، يمكن لفاراداي تحديدها بشكل فردي لكل طلب. في حال تجاوز المهلة، يتم إرجاع سجل جزئي للتفاعلات. يُعد النموذج الذي يستخدمه وكيل البرمجة مُعاملًا وقت التشغيل: يُستخدم GPT-5.4 mini في معظم عملية التدريب؛ بينما يُستخدم GPT-5.5 في المرحلة النهائية وأثناء التقييم.
برنامج ما بعد التدريب
للحصول على نموذج فاراداي، قام الباحثون بتدريب Qwen3.6-27B لاحقًا ضمن إطار عمل وكيل فاراداي، باستخدام خوارزمية GRPO معدلة تعتمد على فضاء مهام Replica. استخدموا تقنية الضبط الدقيق LoRA برتبة 128 (k = 128)؛ ودربوا المُهايئ على جميع طبقات الإسقاط الخطي باستخدام نافذة سياقية تحتوي على 128 ألف رمز ومعدل تعلم ثابت قدره 6 × 10⁻⁶. تضمنت كل خطوة من خطوات مُحسِّن Adam سحب مجموعة من 10 مهام من قسم مجموعة تدريب Replica الذي يحتوي على 242 مهمة، حيث تتوافق كل مهمة مع 8 عمليات تشغيل.
تضمن طريقة أخذ عينات المهام أن تغطي كل دفعة النطاق الزمني الكامل للمجموعة بشكل متساوٍ؛ وفي الوقت نفسه، تصل كل حقبة تدريبية إلى كل مهمة مرة واحدة بالضبط، وبالتالي تجنب هيمنة البيانات من فترة علمية معينة في تحديث معلمات معينة.
استقرار التدريب على المدى الطويل
يتطلب التدريب اللاحق تعلمًا معززًا طويل الأمد في مجال غير قابل للتحقق، وهو بيئة معروفة بميلها لعدم استقرار التدريب، بل وحتى انهيار النموذج. ومن العوامل المساهمة في هذا عدم الاستقرار التباين العالي لإشارة المكافأة وتوزيع الفضل بشكل موحد. ولمعالجة هذه المشكلة، أدخل الباحثون تعديلين على المُقيِّم خلال مرحلة التدريب.
أولًا، يستخدم النظام متوسط ثلاث نتائج تقييم مستقلة لحساب المكافأة على مستوى التنفيذ. ثانيًا، يتطلب من المُقيِّم تحديد أوزان لكل جولة من جولات التنفيذ لتخصيص نقاط لكل جولة من جولات العمليات. وبهذه الطريقة، يمكن إعادة توزيع النقاط ضمن عملية تنفيذ واحدة دون تغيير الحجم الإجمالي لتحديثات المعلمات.
يتميز منهج فاراداي بالدقة في كل من الجوانب النوعية والكمية للبحث العلمي.
قبل تقييم قدرات فاراداي، تحققت النتائج التجريبية أولاً من أن مهمة النسخ المتماثل نفسها تمثل تحديًا كافيًا.يُعد Claude Opus 4.8 أحد أفضل النماذج الأساسية أداءً في الدراسة، ولكن لم يصل أي من وكلاء الترميز الرائدين، بما في ذلك Claude و GPT-5.5، إلى التشبع في مهام النسخ المتماثل.أظهرت الدراسة أيضًا أنه كلما كان تاريخ نشر الورقة البحثية أحدث، زادت صعوبة إعادة إنتاجها؛ فالأوراق البحثية المنشورة في مجال الذكاء الاصطناعي للعلوم عمومًا أصعب في إعادة إنتاجها من الأوراق البحثية التقليدية في مجال التعلم الآلي. ويرجح فريق البحث أن هذا قد يكون مرتبطًا بانخفاض كثافة المعلومات في الأوراق البحثية الأحدث ضمن بيانات التدريب المسبق للنموذج، فضلًا عن أن الأبحاث الحديثة تتطلب عادةً موارد حاسوبية أكبر، مما يجعل تحقيق تقليص حجمها بشكل معقول أكثر صعوبة.
إن قدرة فاراداي على إعادة إنتاج الورقة البحثية تفوق قدرة كلود وكوديكس.
قام الباحثون بمقارنة نموذج فاراداي مع نماذج أساسية مختلفة عبر توزيع مهمة Replica بالكامل (انظر الشكل أدناه).لقد تحسن أداء فاراداي بشكل شامل مقارنة بنموذج كوين الأساسي، سواء في مهام التدريب أو الاختبار.في المهام الموزعة، يتفوق فاراداي على كلود وكوديكس في 731 مهمة من نوع TP3T؛ وفي المهام غير الموزعة، يتفوق فاراداي على كلود وكوديكس في 601 مهمة من نوع TP3T.
ويكشف المزيد من تحليل مجموع نقاط القاضي إلى أبعاد فرعية مختلفة أن...تفوق نموذج فاراداي على النموذج الأساسي في العمق التجريبي، وقابلية تكرار التأكيد، والدقة البصرية، بينما كان أداؤه مماثلاً لأداء كلود في النزاهة العلمية ودقة التنفيذ.(انظر الصورة أدناه).
لتقييم ما إذا كان بالإمكان تحقيق مزايا فاراداي من خلال تحسين الكلمات التوجيهية فقط، أجرى الباحثون 24 جولة من التحسين التلقائي للكلمات التوجيهية على نموذج Codex الأساسي، وقارنوا الكلمات التوجيهية النهائية مع كلمات Codex وFaraday الأصلية. وتظهر النتائج في الشكل أدناه.
لم تسفر الاقتراحات المُحسّنة عن أي تحسن ملحوظ في الأداء، لذا تبقى الفجوة مع فاراداي قائمة.لقد حددت المطالبات المحسّنة أنماط الفشل المحددة في النتائج، لكنها لم تحل هذه المشكلات: لا يبدو أن تحسين الأداء الناتج عن التدريب اللاحق يتم الحصول عليه فقط من خلال هندسة المطالبات.
أظهر فاراداي قدرات بحثية أكثر دقة على المستوى النوعي.
لفهم التحسينات المحددة التي يُدخلها برنامج فاراداي مقارنةً بنموذجي كلود وكوديكس الأساسيين، قام الباحثون بتحليل بعض النتائج يدويًا، مع التركيز على الحالات التي تفوقت فيها نتائج فاراداي بشكل ملحوظ على أعلى نتائج كلود وكوديكس. يوضح الجدول أدناه بعض الأمثلة التمثيلية:
ظهر نمطان بشكل متكرر في التحليل: أولاً، يدرك فاراداي حقًا الآلية التي تحاول التجربة اختبارها، بينما غالبًا ما يقوم النموذج الأساسي بتضمين المخرجات المتوقعة بشكل مباشر أو يلجأ إلى نهج مبسط للغاية، وبالتالي يفشل في إعادة إنتاج الاستنتاجات الأساسية المقابلة للرسوم البيانية؛ ثانيًا، فاراداي أكثر شمولاً من حيث النطاق التجريبي، فهو قادر على إعادة إنتاج المزيد من المحتوى في التجربة الأصلية، مع تجنب عمليات الحذف غير الضرورية.
قدرة "التكرارات المتخيلة" على التعميم
قام الباحثون بتقييم قدرة نموذج فاراداي على التعميم في حالة الاستنساخ "التخيلي" (كما هو موضح في الشكل أدناه). طلبوا من برنامج Claude Opus 4.8 اختيار خمس أوراق بحثية عشوائيًا من مجموعتي التدريب والاختبار Replica، وإنشاء نسختين مختلفتين لكل ورقة، ثم قاموا بتقييم نموذجي فاراداي و Codex GPT-5.5 في هذه المهام.
في 19 مهمة من أصل 20، فضّل الحكام نتائج فاراداي على نتائج كودكس. وبمعنى أدق، لم يُظهر فاراداي قابلية تكرار أفضل من النماذج الحديثة فحسب، بل أظهر أيضًا قدرات ابتكارية أقوى.ومع ذلك، أشار الباحثون بحذر إلى أن مقياس التقييم الخاص بهم لم يتم التحقق من صحته مطلقًا بالنسبة للمهام "الخيالية"، لذا فإن هذا الاستنتاج لا يزال بحاجة إلى مزيد من التحقق في الأبحاث المستقبلية.
خاتمة
إذا كان علماء الذكاء الاصطناعي في الماضي أقرب إلى المهندسين القادرين على إجراء التجارب، فإن نموذج فاراداي CAT يسعى إلى تزويد الذكاء الاصطناعي بالقدرة العلمية اللازمة لمعرفة ما يجب فعله. إن القدرة على تحديد اتجاه البحث، وتحديد نطاق التجارب بشكل منطقي، وتقييم موثوقية النتائج القابلة للتكرار - بمجرد دمجها في الطبقة الخارجية للعامل الذكي - يمكن تعزيزها باستمرار مع تحديث النماذج المتطورة الأساسية.
والأهم من ذلك، أن هذا النموذج يقدم رؤى جديدة حول تطوير قدرات الذكاء الاصطناعي وأمنها: إذ يسمح لنموذج صغير نسبيًا بالتعامل مع أحكام البحث العلمي، بينما يتولى نموذج أكثر قوة تنفيذ المشاريع الهندسية. في المستقبل، قد لا يقتصر التنافس بين علماء الذكاء الاصطناعي على حجم معلمات النموذج فحسب، بل سيتحول نحو كيفية تطوير أحكام بحث علمي أفضل، واستخدام الأدوات بكفاءة، وتعزيز قدرات التعاون بين الإنسان والآلة.
مراجع:
