هل تتذكرون الرهبة التي انتابتكم عند أول محادثة مع ChatGPT وDoubao؟ بُنيا على نموذج لغوي عالمي، وبدا أنهما يتمتعان بمعرفة شاملة، قادرين ليس فقط على نظم الشعر وفهم الأحداث الجارية، بل أيضاً على الرسم وكتابة الرسائل والبرمجة - وهي مجموعة من القدرات التي أثارت إعجاب الناس. مع ذلك، بالنسبة لمساعد ذكي كهذا يبدو "قادراً على كل شيء" في مجالات مثل الثقافة والفن والعلوم، يتزايد تساؤل العلماء: ما مدى كفاءة نموذج اللغة العالمي في المجالات المتخصصة ذات الحواجز المعرفية العالية؟

في هندسة البروتينات، تتزايد أهمية نماذج اللغة العامة في عمليات تصميم البروتينات نظرًا لأدائها المحسن في معايير المعرفة والاستدلال البيولوجي. مع ذلك، لا يزال العلماء يفتقرون إلى فهم واضح لقدرتها على تقييم آثار طفرات البروتينات. ورغم أن بعض التقارير الفنية قد عرضت نتائج تقييم بعض نماذج اللغة العامة، مثل تقييم ProteinGym-Hard المذكور في التقرير الفني لنظام Anthropic، والذي قيّم نماذج سلسلة Claude، إلا أن هذه الدراسات لا تزال تعاني من العديد من المشكلات، كقلة عدد النماذج وعدم وجود تحقق مقارن شامل.

وفي ضوء ذلك،اقترح فريق بحثي من جامعة هارفارد وشركة Capable معيارًا مرجعيًا لـ PG-LLM مبنيًا على مجموعة بيانات ProteinGym.لأول مرة، تم تقييم 13 نموذجًا لغويًا عامًا و95 أداة متخصصة للتنبؤ بالبروتينات في آنٍ واحد ضمن معيار تقييم موحد. ومن خلال اختبار PG-LLM المعياري، أكد العلماء لأول مرة أن النماذج اللغوية العامة قادرة بالفعل على إجراء فحص طفرات البروتينات، وتتمتع بقيمة عملية عالية، وتتفوق على نصف أدوات التنبؤ المتخصصة على الأقل. وقد يُسهم إدخال هذا المعيار في دعم الأدوات الناشئة في مجال هندسة البروتينات، مع تقديم أفكار جديدة كليًا لتصميم البروتينات.

تم نشر النتائج ذات الصلة، بعنوان "PG-LLM: تقييم نماذج اللغة للأغراض العامة لتصنيف متغيرات البروتين"، كنسخة أولية على موقع bioRxiv.

أبرز الأبحاث:

* وضع أول معيار موحد لتصنيف طفرات البروتين في نموذج لغة للأغراض العامة: PG-LLM 

* إجراء تجارب تحكم واسعة النطاق عبر النماذج لتحديد حدود الأداء بوضوح بين نماذج اللغة العامة ونماذج التنبؤ بالبروتين المتخصصة.
* يقدم منظورًا تجريبيًا متعدد الأبعاد، يكشف عن الاختلافات في الآليات الأساسية لنوعي النماذج ويوفر أساسًا لحلول الاندماج المحتملة.

رابط الورقة البحثية: https://www.proteingymllm.com/paper

استنادًا إلى مجموعة بيانات ProteinGym، تغطي مجموعة البيانات هذه 217 مجموعة من البيانات التجريبية.

يعتمد نموذج PG-LLM على مجموعة بيانات ProteinGym، وهي مجموعة بيانات مرجعية موحدة عالميًا في مجال التنبؤ بطفرات البروتينات. تستخدم هذه الدراسة مجموعة بيانات ProteinGym v1.3 الكاملة للمسح العميق للطفرات.يغطي هذا البحث 186 بروتينًا مختلفًا وما مجموعه 217 مجموعة من البيانات التجريبية.ومن بين هذه المجموعات، تم تحديد 148 مجموعة من خلال تجارب الطفرة النقطية المفردة فقط، وتم تحديد المجموعات الـ 69 الأخرى من خلال تجارب الطفرة المركبة متعددة المواقع.

لضمان نزاهة الاختبار، استُخدمت استراتيجية أخذ عينات طبقية لإنشاء مجموعة الطفرات المرشحة. رُتبت جميع الطفرات وفقًا لقيمها الوظيفية المقاسة من الأصغر إلى الأكبر، ثم قُسمت بالتساوي إلى 10 فترات. بعد ذلك، سُحبت أعداد متساوية تقريبًا من عينات الطفرات من كل فترة. هذا يضمن أن تغطي مجموعة الطفرات المرشحة عينات من المستويات الوظيفية المنخفضة والمتوسطة والعالية بشكل متوازن، مما يمنع تركز العينات في فترة واحدة وبالتالي تجنب تحيز الاختبار. في الوقت نفسه، وللتخلص من عشوائية النتائج الناتجة عن أخذ العينات العشوائي، أُنشئت ثلاث مجموعات فرعية مستقلة من الطفرات المرشحة، يُشار إليها باسم "السحوبات"، لكل مجموعة تجريبية. وكانت درجة أداء النموذج النهائية هي متوسط نتائج التقييم الثلاثة.

حددت هذه الدراسة ثلاثة أحجام لمجموعات المرشحين، يحتوي كل منها على 10 و 50 و 100 طفرة على التوالي.تستند استنتاجات التصنيف بشكل أساسي إلى مجموعة مرشحة من 50 طفرة.لضمان توحيد التجارب ونزاهتها، اتبعت جميع النتائج التجريبية قواعد التجميع الكلي المتداخلة لبرنامج ProteinGym، مما يعني أنه كلما ارتفعت النتيجة المقاسة، كان الأداء الوظيفي للبروتين المتحول أفضل.

أول معيار تقييم موحد لتصنيف طفرات البروتين لنموذج لغة عام

يُعد معيار PG-LLM مجموعة موحدة من أدوات القياس المصممة خصيصًا لتقييم قدرات تسلسل طفرات البروتين لنماذج اللغة العامة.تم تصميم الإطار لتوفير سير عمل عادل وموحد لمهام تسلسل الطفرات بدون عينة.على وجه التحديد، لا تُزوّد كل مهمة النموذج إلا بتسلسل البروتين المدخل ووصف خطة الكشف التجريبي. وبدون توفير معلومات عن مقارنة التسلسلات المتعددة (MSA) أو البنية ثلاثية الأبعاد للبروتين، يُجبر النموذج على فرز البروتينات الطافرة الخمسين المُشوشة تلقائيًا وفقًا لجودتها الوظيفية.

لتقييم الأداء الجماعي لنماذج اللغة العامة بشكل منهجي في مهمة تسلسل طفرات البروتين، وتجنب الاستنتاجات المتحيزة من نموذج واحد، وتحديد مستوى أداء نموذج اللغة العامة وتوضيح حدود قدراته،تضمنت هذه الدراسة فئتين رئيسيتين من كائنات التقييم للتحقق الشامل من الأبعاد الأفقية والرأسية: أحدهما نموذج لغة عام، والآخر نموذج تنبؤ بروتيني متخصص.فيما يتعلق بشروط الإدخال وقواعد التقييم، ونظرًا لاختلاف مبادئ عمل نوعي النماذج، تعتمد هذه الدراسة شروط إدخال غير متساوية عمدًا لنموذج التنبؤ المتخصص مقارنةً بنموذج اللغة العام. فعلى عكس شروط الإدخال الأكثر صرامة في النموذج الأخير، يمكن للنموذج الأول استخدام المدخلات المُقدمة أصلاً، بما في ذلك معلومات تسلسل الأحماض الأمينية المتعددة أو بنية البروتين ثلاثية الأبعاد. وتستخدم قواعد التقييم نفس مقاييس التقييم المُجمعة المستخدمة في نموذج اللغة العام، حيث يُمثل مؤشر النتيجة بمعامل ارتباط رتبة سبيرمان. يشير ρ=1 إلى اتساق تام في الترتيب، بينما يشير ρ=0 إلى عدم وجود ارتباط رتيب بين الرتب.

على وجه التحديد، يتضمن نموذج اللغة العام 13 نموذجًا شائعًا حاليًا، مثل Claude Opus 5، وسلسلة GPT، وسلسلة Gemini، وGLM-5.2، وKimi K3. ومن بين 95 نموذجًا متخصصًا للتنبؤ بالبروتينات،يتضمن ذلك VenusREM، وهي أداة تنبؤية متطورة في مجال طفرات البروتين.تم تطوير نموذج لغة البروتين مفتوح المصدر هذا، المُعزز بتقنية الاسترجاع، تحت إشراف تان يانغ، العالم التقني في مختبر تيان وو للتكنولوجيا والذكاء الاصطناعي، وهو مصمم خصيصًا للتنبؤ بتأثير طفرات نقاط الوحدة في حالة عدم وجود عينة. في هذه الدراسة، برز هذا النموذج كأفضل نموذج أداءً بين نماذج المجال الاحترافية، متفوقًا على نموذج كلود أوبوس 5.

في السابق، حقق نموذج VenusREM أداءً رائدًا في التنبؤات الصفرية على منصة ProteinGym، وهي معيار لتقييم تأثيرات طفرات البروتينات، طوره فريق من كلية الطب بجامعة هارفارد، متفوقًا على نماذج مماثلة طورتها فرق مثل Meta وBioMap ومايكروسوفت. وقد تم إتاحة نموذج VenusREM والبرمجيات المرتبطة به كمصدر مفتوح بالكامل، مع أكثر من 4000 عملية تنزيل على منصة Hugging Face خلال الثلاثين يومًا الماضية، وأكثر من 250000 عملية تنزيل منذ إطلاقه.

لتسهيل اعتماد المطورين السريع لنموذج VenusREM المتقدميحتوي قسم الدروس التعليمية في الموقع الرسمي لشركة HyperAI (hyper.ai) الآن على "VenusREM: التنبؤ بتأثير الطفرات البروتينية المحسّن بالبحث".تم الانتهاء من تهيئة البيئة، والنشر سهل بأقل جهد ممكن.

تشغيل عبر الإنترنت:

https://hyper.ai/cn/notebooks/venusrem-retrieval-enhanced-protein-mutation-effect-prediction
عنوان المصدر المفتوح لبرنامج VenusREM:

https://github.com/ai4protein/VenusREM

تكشف التجارب المقارنة متعددة الأبعاد عبر النماذج عن الاختلافات في الآليات الأساسية بين نوعي النماذج.

تستند الاستنتاجات الأساسية لهذه الدراسة إلى مجموعة مرشحين بحجم 50، وتظهر النتائج في الشكل أدناه:

تُظهر النتائج أن نموذج Claude Opus 5 يتصدر قائمة أفضل نماذج اللغة العامة بمعامل ارتباط سبيرمان ρ=0.406، يليه مباشرةً نموذج GPT-5.6 Sol بمعامل ارتباط ρ=0.402. مع ذلك، هذه النتيجة ليست مطلقة. فعند مقارنة التجارب التي تمكن فيها كلا النموذجين من إكمال الاختبارات، تفوق أداء GPT-5.6 Sol فعليًا، على سبيل المثال، في 180 معيار تقييم مشترك.تجاوزت نتيجة GPT-5.6 Sol نتيجة GPT-5.6 بمقدار 0.409 إلى 0.400.

والأكثر دلالةً، بالمقارنة مع النماذج العمودية، يصل برنامج Claude Opus 5 إلى المستوى المتوسط. تحديدًا، يتفوق على 49 من أصل 95 طريقة، بما في ذلك 41 من أصل 46 طريقة تعتمد على التسلسل النقي، و8 من أصل 49 طريقة مركبة تستخدم تحليل التسلسل المتعدد أو الطرق البنيوية. وينعكس هذا في نتيجته، التي تتجاوز متوسط طرق التسلسل النقي، ρ = 0.374.وهو قريب من 0.411 لنموذج البروتين الكبير المخصص ESM2-650M، ولكنه لا يزال متأخراً بشكل كبير عن 0.523 لـ VenusREM.

للتأكد من إمكانية تحسين قدرات نماذج اللغة العامة عن طريق زيادة الموارد الحاسوبية خلال مرحلة الاستدلال، أجرى الباحثون مزيدًا من التحقق. وأظهرت النتائج أن منح النماذج وقتًا أطول للتفكير وإنتاج المزيد من نصوص الاستدلال زاد من دقة تصنيف جميع نماذج GPT وClaude وGemini. مع ذلك، بعد بلوغ مستوى معين، تقاربت مكاسب الأداء تدريجيًا، ولم تتمكن في النهاية من اللحاق بنماذج التنبؤ المتخصصة بالبروتينات. (انظر الشكل أدناه).

مع ذلك، فإن زيادة الموارد ليست مفيدة دائمًا. فزيادة حجم مجموعة المرشحين قد يكون لها تأثير معاكس على نماذج اللغة العامة. على سبيل المثال، عندما يزداد حجم المرشحين من 10 إلى 100، ينخفض أداء GPT-5.6 Sol في 178 مقياسًا مشتركًا من 0.423 إلى 0.375. كما أن انخفاض أداء نماذج اللغة العامة الأخرى أمر لا مفر منه.وعلى النقيض تماماً، فإن النماذج العمودية مثل ESM2-150M و ESM2-650M و VenusREM لم تتأثر تقريباً.

بالإضافة إلى ذلك، تُظهر أدوات التنبؤ بالتسلسل النقي أداءً أفضل على البروتينات التي تحتوي على معلومات كافية عن التباين التطوري، بينما لا تتأثر دقة النماذج الكبيرة العامة تقريبًا بعمق التباين. على سبيل المثال، في تجربة مقارنة شملت 13 نموذجًا لغويًا عامًا و46 طريقة للتسلسل النقي، عبر 180 اختبارًا، ظلت نتائج تجميع النماذج اللغوية العامة الـ 13 ثابتةً تقريبًا بين البروتينات ذات العمق المنخفض والبروتينات ذات العمق العالي. بلغ الأداء المُعدَّل لمجموعات العمق المنخفض والمتوسط والعالي 0.313 و0.301 و0.311 على التوالي، مع فرق قدره -0.002 فقط بين العمقين العالي والمنخفض. (انظر الشكل أدناه).

في المقابل، ارتفع متوسط قيمة طريقة التسلسل النقي تدريجيًا من 0.309 عند العمق المنخفض إلى 0.380 عند العمق المتوسط، ثم إلى 0.411 عند العمق العالي، بفارق قدره +0.102. علاوة على ذلك، أظهر تقدير النقاط لـ 45 طريقة من أصل 46 أن أداءها عند العمق العالي كان أفضل من أدائها عند العمق المنخفض.

وأخيرًا، تحققت الدراسة أيضًا مما إذا كان تلوث بيانات التدريب يؤثر على دقة تنبؤ النموذج. وأظهرت النتائج أن دقة تصنيف النماذج التي استطاعت التعرف على المستندات الأصلية لم تتحسن بشكل مطرد مقارنةً بتلك التي لم تستطع ذلك، بل في بعض الحالات، كانت درجات النماذج التي استطاعت التعرف على المستندات الأصلية أقل.

توفر مخططات الاندماج المحتملة أفكارًا جديدة لتطبيق الأدوات في مجال تصميم البروتينات.

باختصار، تُظهر نتائج هذه الدراسة بوضوح قدرة نماذج اللغة العامة على التنبؤ بتسلسل طفرات البروتين، ويتفوق أداؤها على العديد من أدوات التنبؤ بالتسلسل الكلاسيكية، مما يدل على قيمتها العملية. ومع ذلك، تؤكد الدراسة أيضًا وجود فجوة كبيرة بينها وبين أساليب التنبؤ المتخصصة الرائدة، وأنها لا تستطيع أن تحل محل أساليب التنبؤ المتخصصة بالبروتين بشكل كامل. ومع ذلك، يبقى التخصص أساسيًا، فلا يمكن استخدام نماذج اللغة العامة ولا نماذج التنبؤ المتخصصة حصريًا لمهام مجال محدد؛ كما أن كيفية تنسيق جهودها مسألة بالغة الأهمية.

ومن الجدير بالذكر أنفي الترتيب الرئيسي لهذه الدراسة، تم تطوير VenusREM، الذي يتجاوز معامل ارتباط سبيرمان الخاص به بكثير معامل ارتباط VenusREM، تحت قيادة طالب دكتوراه ولد في العقد الأول من القرن الحادي والعشرين.—تان يانغ، عالم تقني في مختبر تيان وو للتكنولوجيا والذكاء الاصطناعي، هو حاليًا طالب دكتوراه مشترك في جامعة شنغهاي جياو تونغ وأكاديمية شنغهاي للابتكار، دفعة 2025. كنموذج متعدد الوسائط مدرب مسبقًا للتنبؤ بتأثير طفرات البروتين وهندسة البروتين، يتمثل الهدف الأساسي لـ VenusREM في الاستخدام المشترك لتسلسل الأحماض الأمينية والبنية ثلاثية الأبعاد ومعلومات التماثل للبروتينات لتقييم التأثير المحتمل للطفرات المرشحة على الخصائص الوظيفية مثل نشاط البروتين واستقراره وقدرته على الارتباط بدقة أكبر.

بخلاف نماذج لغة البروتين التقليدية التي تعتمد فقط على معلومات التسلسل الفردي، يقوم نموذج VenusREM بترميز تسلسلات الأحماض الأمينية كمصطلحات تسلسلية، ويُجزّئ البيئة المكانية ثلاثية الأبعاد المحيطة بكل حمض أميني كمصطلحات هيكلية. ثم يقوم بنمذجة سياق التسلسل، والخصائص الهيكلية المحلية، والعلاقات الموضعية النسبية بين الأحماض الأمينية بشكل مشترك من خلال آلية الانتباه المتبادل متعددة الرؤوس المنفصلة. وبهذه الطريقة،لا يستطيع النموذج فهم التبعية التسلسلية للأحماض الأمينية في التسلسل فحسب، بل يمكنه أيضًا تحديد التفاعلات بين البقايا المتباعدة في التسلسل ولكنها قريبة من بعضها البعض في الفضاء ثلاثي الأبعاد.

انطلاقًا من هذا الأساس، يُقدّم برنامج VenusREM وحدةً مُحسّنةً للبحث عن التسلسلات المتماثلة المرتبطة بالبروتين المستهدف من قواعد بيانات البروتينات، واستخلاص الحفظ التطوري وتفضيلات استبدال الأحماض الأمينية في كل موقع من خلال محاذاة التسلسلات المتعددة. يدمج النموذج، بشكلٍ مُرجّح، توصيف التسلسل والبنية معًا مع معلومات التطور المتماثل. حتى في حالة عدم وجود عينات، ودون الحاجة إلى وسم تجريبي للبروتين المستهدف أو تدريب إضافي، فإنه يحسب درجات اللياقة للطفرات أحادية النقطة ومتعددة النقاط، ويُصنّف الطفرات المرشحة بمقارنة الدرجات المُتوقعة للأحماض الأمينية الطافرة والطبيعية في المواقع المُقابلة.

ثم،قاد الدكتور تان يانغ عملية تطوير وتنفيذ MatwingsVenus™، وهو وكيل ذكي للبحث والتطوير البروتيني التفاعلي، داخل الشركة، استنادًا إلى VenusREM. تكمن أبرز مزايا MatwingsVenus™ في تجسيدها الحقيقي لمفهوم "البحث والتطوير التفاعلي". فبدون الحاجة إلى الخوض في برمجة معقدة أو بناء نماذج معقدة، يكفي إصدار أوامر بسيطة كما في محادثة عادية ليتمكن الذكاء الاصطناعي من إتمام تصميم البروتينات والتنبؤ بها والتحقق من صحتها بشكل كامل. وفي الشهر الماضي، تألق هذا الإنجاز العلمي المتميز في مؤتمر الذكاء الاصطناعي العالمي 2026، حيث حصد لقب "كنز المؤتمر" إلى جانب عمالقة الصناعة مثل علي بابا وبايدو، ليصبح المنتج العلمي الذكي الوحيد الذي تم اختياره للمؤتمر.

كما ذكر تان يانغ في مقابلة، لكل من نماذج اللغة العامة والنماذج المتخصصة مزاياها وعيوبها. فالأولى "مُلمّة" لكنها تفتقر إلى عمق المعرفة في مجال التخصص، بينما تتمتع الثانية بفهم عميق لبيانات البحث العلمي الأساسية لكنها تفتقر إلى قدرات التفكير والاستدلال. وقد يُحقق استخدام نموذج اللغة العامة لفهم متطلبات التجارب المعقدة، وبالتالي إشراك العنصر البشري في العملية، ودمجه مع نموذج متخصص لاستخدام المعلومات التطورية أو البنيوية للحصول على تقييم دقيق، نتائج أفضل.