على عكس معظم المهام الهندسية، يتسم البحث العلمي بالتكرار والانفتاح وعدم اليقين. ولا يكمن التحدي الأساسي فيه في تنفيذ عملية التحليل نفسها، بل في سلسلة من الأحكام التي تحركها البديهة العلمية أو "الذوق البحثي": على سبيل المثال، ما هي الأسئلة التي يمكن أن تدعمها البيانات، وما هي البيانات التي ينبغي تضمينها، وما هي التقديرات أو النماذج التي ينبغي اختيارها، وما إذا كانت نتائج التشخيص تقلب الفرضية الأولية، وما مدى قوة الأدلة التي يمكن الاستناد إليها في استخلاص استنتاج.

تم اقتراح برنامج GeneBench في هذا السياق. وهو يحاول تقييم ليس قدرات خوارزمية واحدة، بل ما إذا كان النموذج قادراً على إكمال "حلقة استدلال" كاملة في عملية تحليل علمي حقيقية.يشمل ذلك فهم البيانات، ومراقبة الجودة، واختيار الأساليب، والنمذجة الإحصائية، والتصحيح التشخيصي، ونتائج القرار النهائي - وهي قدرات بالغة الأهمية في علوم الحياة الحديثة.

وعلى هذا الأساس،أصدر فريق البحث في OpenAI مؤخرًا نسخة محدثة من GeneBench، وهي GeneBench-Pro.يغطي هذا البرنامج نطاقًا أوسع من المجالات الصناعية والأكاديمية، ولم يعد مقتصرًا على علم الجينوم، بل يمتد ليشمل سيناريوهات تتطلب استدلالًا إحصائيًا متعدد المراحل، مثل البيولوجيا الجزيئية والكمية، وعلم الصيدلة الجينية، وبيولوجيا السرطان، وعلم الجينوم الميكروبي، والتطبيق السريري. وبالمقارنة مع برنامج GeneBench، يضيف GeneBench-Pro تسعة وعشرين سؤالًا، ويحذف ثلاثة أسئلة، ويعيد تصميم أربعة وخمسين سؤالًا من الأسئلة المئة المتبقية المتداخلة بشكل جذري.

من بين 129 سؤالًا، خضع 82 سؤالًا لمراجعة خبراء خارجيين في المجال، وأسفرت ملاحظاتهم عن تعديلات في التلميحات والبيانات، فضلًا عن إعادة صياغة الأسئلة التي لم يكن الهدف فيها واضحًا. في التقييم الكامل المكون من 129 سؤالًا، حقق نموذج GPT-5.6 Sol معدل نجاح بلغ 28.71 نقطة في اختبار TP3T عند أعلى مستوى من قوة الاستدلال، بينما حقق نموذج GPT-5.6 Sol Pro معدل نجاح بلغ 31.51 نقطة في اختبار TP3T في تشغيل GPT Pro الذي تم الإبلاغ عنه بشكل منفصل؛ وحقق نموذج GPT-5.5 معدل نجاح بلغ 12.01 نقطة في اختبار TP3T، وحقق نموذج GPT-5.4 معدل نجاح بلغ 8.91 نقطة في اختبار TP3T، أما أفضل نموذج أساسي غير قائم على GPT، وهو Claude Opus 4.8، فقد حقق معدل نجاح بلغ 16.01 نقطة في اختبار TP3T.

تم نشر نتائج البحث ذات الصلة، بعنوان "GeneBench-Pro: تقييم الاستدلال الإحصائي متعدد المراحل في علم الجينوم وعلم الأحياء الكمي والطب الحيوي الانتقالي"، كنسخة أولية على موقع bioRxiv.

أبرز الأبحاث:

* GeneBench-Pro هو تحديث لبرنامج GeneBench الذي تم إصداره سابقًا، حيث يقدم إصدارات أكثر صعوبة بشكل ملحوظ من المشكلات الحالية بالإضافة إلى مجموعات المشكلات من المجالات المضافة حديثًا.

* لم يعد برنامج GeneBench-Pro مقتصراً على علم الجينوم، بل توسع ليشمل سيناريوهات تتطلب استدلالاً إحصائياً متعدد المراحل، مثل البيولوجيا الجزيئية والكمية، وعلم الصيدلة الجينية، وبيولوجيا السرطان، وعلم الجينوم الميكروبي، والترجمة السريرية.

* يقدم GeneBench-Pro خطوة مراجعة علمية خارجية: في هذه العملية، يتم تقديم التصميم الكامل والوثائق ذات الصلة والمواصفات التحليلية لكل سؤال إلى خبراء المجال الخارجيين للتحقق من صحتها وأساسها العلمي.

عنوان الورقة:
https://hyper.ai/papers/GeneBench-Pro
تتوفر مجموعات البيانات ذات الصلة عبر الإنترنت:
https://hyper.ai/datasets/53157

GeneBench-Pro: يحتوي على 129 سؤالاً تغطي 10 مجالات رئيسية.

GeneBench-Pro عبارة عن مجموعة من 129 سؤالًا تغطي 10 مجالات رئيسية و 21 مجالًا فرعيًا.يُستخدم هذا لقياس قدرة النظام على تحديد وإجراء التحليل الكمي اللازم من مجموعة بيانات قد تحتوي على عيوب، وذلك بأقل قدر من التوجيه، وبالتالي تقدير المُقدِّر المستهدف (المُقدَّر). يوضح الشكل أدناه نطاق تغطية مجموعة التقييم الحالية.

يتم تجميع كل مشكلة من مشاكل GeneBench-Pro كمهمة تحليل علمي مستقلة.يُزوَّد البرنامج ببيئة عمل معزولة تحتوي على مُوجِّه أساسي، وملفات بيانات مُقسَّمة إلى مراحل، ومجموعة أدوات بايثون علمية قياسية. يُقدِّم المُوجِّه فقط السؤال/المهمة العلمية والتقديرات المستهدفة، دون تحديد العملية التحليلية المطلوبة بشكل صريح. صُمِّمت ملفات البيانات هذه لمحاكاة البيانات الأولية التي يحصل عليها المحللون الحقيقيون من الأنظمة التجريبية أو السريرية، قدر الإمكان، بدلاً من مجموعات بيانات مُنقَّاة.

تحتوي كل مشكلة على سلسلة من عقد القرار المترابطة، لذا فإن الاختيار الخاطئ الذي يتم اتخاذه في أي مرحلة سينتشر إلى الخلف، مما يتسبب في حدوث أخطاء في التحليل اللاحق ويفشل في النهاية في الحصول على النتيجة المستهدفة الصحيحة.

يعمل البرنامج في بيئة محاكاة واقعية، مع إمكانية الوصول إلى ملفات البيانات المرحلية ومكتبات الحوسبة العلمية العامة، بما في ذلك numpy وpandas وscipy وscikit-learn وstatsmodels وlifelines وmatplotlib وseaborn. كما يمكنه استخدام أدوات المعلوماتية الحيوية الجينومية القياسية مثل PLINK 2.0 وpysnptools وbed-reader وbedtools وpysam.

الهدف الأساسي للتصميم: يحصل العامل على أقل قدر ممكن من التلميحات الممكنة وتقديرات الهدف الصريحة.

يكمن سبب صعوبة وضع معايير دقيقة للتحليل العلمي المفتوح في أن بيانات العالم الواقعي غالبًا ما تتيح خيارات تحليلية متعددة، وكلها معقولة. فعلى سبيل المثال، قد تختلف عتبات مراقبة الجودة، وإعدادات معلمات النموذج، ومعايير إعداد التقارير بين المحللين، لكن هذه الاختلافات لا تعني بالضرورة صحة نهج واحد فقط. إذا تباينت نتائج معيار ما لأن جهة ما اختارت عتبة أو اتفاقية معقولة ولكنها مختلفة، فقد يعكس هذا الاختلاف عشوائية تصميم المعيار نفسه، وليس جودة التفكير العلمي.

لضمان أن "الفشل" يمثل خطأً علمياً حقيقياً وليس تدهوراً طبيعياً،استخدم الباحثون مشكلة محاكاة بناءة في GeneBench-Pro: أي أن البنية السببية الكاملة معروفة، ويتم محاكاة عملية توليد البيانات بشكل صريح.

يقوم الباحثون بقياس الهياكل المتتالية باستخدام "عدد نقاط القرار" - وهي نقاط تشعب الاستدلال الرئيسية في عملية التحليل حيث يمكن أن تؤدي الخيارات المعقولة ولكن غير الصحيحة إلى تغييرات نوعية في النتائج اللاحقة.

عملياً، تُبنى كل مسألة انطلاقاً من نموذج تحليلي واقعي ومُقدِّر مستهدف. تُستمد هذه النماذج التحليلية الواقعية من الأدبيات وخبرة خبراء المجال، بهدف عكس المشكلات العلمية الشائعة وذات التأثير الكبير وسير العمل، مع تجنب إعادة إنتاج الحالات القياسية من الكتب الدراسية أو الأبحاث المنشورة بشكل مباشر لمنع النموذج من حل المشكلات عن طريق الحفظ.

بعد ذلك، يتم توليد البيانات من خلال المحاكاة بحيث يمكن استخلاص الإجابة الصحيحة من البيانات المرحلية. ثم يتم إنشاء تلميح بسيط ممكن، يحتوي فقط على الحد الأدنى من المعلومات اللازمة لتحديد الإجابة الصحيحة.

بعد الانتهاء من المسودة الأولية للمسألة، سيتم إجراء عملية تحقق واسعة النطاق. بالنسبة للمسارات التي "تبدو معقولة ولكنها خاطئة" في مراحل مختلفة من الاستدلال، سيتم استخدام تجارب الاستبعاد لفحصها والتحقق مما إذا كانت نتائجها قابلة للتمييز بشكل كافٍ عن الإجابة الصحيحة.

بالإضافة إلى ذلك، سيتم إجراء مراجعة علمية مستقلة لتقييم مدى منطقية المنهجية، وإمكانية تحديد الأهداف، والصحة العلمية.

يلخص الجدول التالي القيود الأساسية الرئيسية المستمدة من متطلبات التصميم هذه:

مثال على سؤال: المخاطر المتبقية في فحص حاملي جين DRX1

توضح الصورة أدناه مسألة في برنامج GeneBench-Pro تحاكي سيناريو فحص حاملي مرض وراثي متنحي. في هذا السياق الاصطناعي للفحص، يُعدّ جين DRX1 هو الجين المسبب للمرض: ولا يوجد خطر على الإنجاب لدى النسل إلا إذا كان كلا الوالدين البيولوجيين يحملان أليل DRX1 قابلاً للإبلاغ.

يتم تزويد الوكيل ببيانات فحص حاملي المرض الخام ويحتاج إلى تقدير خطر الإصابة المتبقي بعد "نتيجة الفحص سلبية" ودمج هذا الخطر المتبقي مع تردد حاملي المرض في مجموعة الشركاء المحتملين للتكاثر.

تكمن صعوبة هذه المشكلة في حقيقة أنه لا يمكن تقدير الإجابة ببساطة مباشرة من معدل الناقل الأصلي؛ يجب أن يكمل التحليل الصحيح خطوات استدلال متعددة بالتتابع:

·  أولاً، حدد فئات حاملي DRX1 القابلة للإبلاغ وميز القطع الأثرية لتغير عدد النسخ؛

·  بعد ذلك، تتم معالجة علامة المؤسس للنموذج المرحلي، ويتم تحديد ما إذا كان ينبغي اعتبارها نمطًا فرديًا.

·  ثم تم تقدير حساسية ومعدل النتائج الإيجابية الكاذبة للكشف بناءً على متغيرات مشتركة مختلفة؛

·  بعد ذلك، وبناءً على احتمالية عدم اكتشاف حامل المرض لكل فئة، يتم حساب خطر حامل المرض المتبقي في ظل حالة الفحص السلبي؛

·  وأخيرًا، يجب توحيد تردد شركات النقل الشريكة ليشمل القائمة الكاملة للشركاء، بدلاً من اقتصاره على المجموعة الفرعية التي تم اكتشافها.

يوضح هذا المثال يتمثل الهدف الأساسي لتصميم GeneBench-Pro في حصول العامل على أقل قدر ممكن من التلميحات الممكنة وتقديرات الهدف الصريحة.ومع ذلك، يعتمد النجاح في نهاية المطاف على ما إذا كان بإمكانه استعادة مسار التحليل الكمي متعدد المراحل بالكامل من البيانات، بدلاً من مجرد تنفيذ عملية محددة مسبقًا.

النتائج تُظهر: تحسناً ملحوظاً في القدرات، ولكن "حلقة الاستدلال" لم يتم تأسيسها بالكامل بعد.

قيّم الباحثون برنامج GeneBench-Pro باستخدام مجموعة كاملة من 129 سؤالًا، تغطي 60 نموذجًا، بما في ذلك GPT-5.2 وGPT-5.4 وGPT-5.5 وGPT-5.6 Luna/Terra/Sol ومتغيراتها المقابلة من GPT Pro، بالإضافة إلى نماذج أساسية غير GPT من Claude وGemini وGrok وGLM وKimi وDeepSeek وMiMo وTencent وMiniMax وQwen. يوضح الشكل أدناه معدل النجاح غير المرجح المحسوب سؤالًا سؤالًا.

إجمالي،لا يزال معدل النجاح الإجمالي للنموذج منخفضاً:

·  عند أعلى قوة استدلال تم الإبلاغ عنها لكل نموذج رئيسي من نماذج GPT، ارتفع متوسط معدل النجاح غير المرجح من 4.9% لـ GPT-5.2 (xhigh) إلى 8.9% لـ GPT-5.4 (xhigh)، و12.0% لـ GPT-5.5 (xhigh)، و16.5% لـ GPT-5.6 Luna (max)، و23.3% لـ GPT-5.6 Terra (max)، و28.7% لـ GPT-5.6 Sol (max).

·  النتائج المبلغ عنها بشكل منفصل لـ GPT Pro هي كالتالي: GPT-5.2 Pro 8.5%، GPT-5.4 Pro 16.3%، GPT-5.5 Pro 20.5%، GPT-5.6 Luna Pro 23.6%، GPT-5.6 Terra Pro 28.5%، و GPT-5.6 Sol Pro 31.5%.

·  تتراوح نتائج النماذج غير GPT من حوالي 0.6% إلى 16.0%، مع كون Claude Opus 4.8 هو أقوى نموذج أساسي غير GPT.

·  ضمن سلسلة GPT، فإن زيادة قوة الاستدلال لها تأثير كبير: فقد زادت قوة الاستدلال في GPT-5.6 Sol من 3.7% إلى 14.4 ...

في نفس الوقت،لا تزال هناك قضايا هامة لم يتم حلها.في أفضل نموذج رئيسي لـ GPT، انخفضت نسبة "مسائل معدل النجاح 0.%" من 77.5% في GPT-5.2 إلى 67.4% في GPT-5.4، و64.3% في GPT-5.5، و45.7% في GPT-5.6 Sol؛ بينما ارتفعت نسبة "مسائل معدل النجاح 50% على الأقل" من 1.6% إلى 4.7%، و8.5%، و30.2%. لذا، حتى في أقوى نموذج رئيسي، لا يزال النموذج الأساسي يتكون في الغالب من مسائل عالية الصعوبة، لكن النماذج الأقوى قادرة على تحويل المزيد من المسائل من حالة "الفشل التام" إلى نجاح جزئي أو نجاح مستقر.

خاتمة

لا تكمن المساهمة الأساسية لبرنامج GeneBench-Pro في بناء معيار بيولوجي جديد فحسب، بل في محاولته إعادة تعريف كيفية تقييم "قدرات العوامل العلمية". تُظهر النتائج التجريبية أن النماذج الحديثة تمتلك درجة معينة من "القدرة العلمية المحلية"، مثل تحديد شذوذ البيانات، وفهم الإشارات الإحصائية، أو تنفيذ الإجراءات التحليلية القياسية. ومع ذلك، لم يتم بعد توسيع نطاق هذه القدرة بشكل مستقر لتشمل التحليل العلمي الشامل؛ إذ لا تزال هناك فجوة كبيرة بين "تحديد المشكلة" و"اتخاذ الإجراءات اللازمة".

من منظور التطبيقات، يحمل هذا الإنجاز قيمةً كبيرةً محتملة. ففي علوم الحياة الحديثة، تعتمد عملية الانتقال من بيانات الجينات إلى فحص الأهداف، ومن الإشارات الإحصائية إلى القرارات التطبيقية، اعتمادًا كبيرًا على تعاون فرق الخبراء، وهي عملية مكلفة. وتشير الدراسة إلى أن حل مشكلة في برنامج GeneBench-Pro يستغرق عادةً من 10 إلى 40 ساعة دون تدخل بشري، مما يعني أن حتى الأتمتة الجزئية قد تُحقق قيمة اقتصادية كبيرة في البحث الصناعي.

مع ذلك، يؤكد الباحثون أيضاً أن النموذج الحالي لا يمكنه أن يحل محل هذه العملية بشكل موثوق، لأنه لا يستطيع إكمال سلسلة الاستدلال بأكملها باستمرار. وقد تشمل التحسينات المستقبلية قدرات تخطيط أقوى، وآليات تصحيح ذاتي، وقدرات نمذجة عدم اليقين.

مراجع:

https://www.biorxiv.org/content/10.64898/2026.06.29.735386v2