أصدر مختبر شنغهاي للذكاء الاصطناعي برنامج ChemLLM، الذي يغطي 7 ملايين من بيانات الأسئلة والأجوبة، مع قدرات احترافية مماثلة لبرنامج GPT-4

مع التطور السريع لتكنولوجيا الذكاء الاصطناعي، تم استخدام نماذج اللغة الكبيرة (LLMs) على نطاق واسع في البحث العلمي مثل علوم الحياة وعلم المحيطات وكيمياء المواد بسبب قدراتها القوية على معالجة اللغة الطبيعية. على الرغم من أن طلاب الماجستير في القانون يؤدون بشكل جيد في المهام المتعلقة بالكيمياء مثل التنبؤ بالخصائص الجزيئية، وتوليد الجزيئات، وتصميم التجارب، إلا أن أداءهم ضعيف عند التعامل مع المهام الكيميائية المختلفة اللاحقة.

والسبب هو أن دمج المعرفة الكيميائية بشكل مباشر في نماذج اللغة يواجه ثلاثة تحديات رئيسية:أولاً، يتم تخزين معظم المعلومات والمعرفة الكيميائية في قواعد بيانات منظمة. إن استخدام هذه البيانات بشكل مباشر لتدريب طلاب الماجستير في اللغة الطبيعية قد يضعف قدرة النموذج على معالجة اللغة الطبيعية، مما يتسبب في تدهور قدرات الحوار والتفكير المنطقي في النموذج. ثانياً، في الكيمياء المعلوماتية، يتم تمثيل الجزيئات برموز خاصة، مثل الابتسامات. ومع ذلك، فإن هذا النوع من البيانات لا يتوافق في كثير من الأحيان مع معايير اللغة الطبيعية، وبالتالي تجد نماذج اللغة التقليدية صعوبة في فهم مثل هذه الرموز وتوليدها بشكل صحيح؛ وأخيرًا، هناك العديد من أنواع البيانات والمهام الكيميائية، ومن الصعب جدًا تصميم عملية تدريب مرنة يمكن تعميمها على مجموعة متنوعة من المهام الكيميائية.

ردًا على ذلك، أصدر مختبر الذكاء الاصطناعي في شنغهاي نموذج اللغة الكيميائية الكبيرة ChemLLM. يتفوق برنامج ChemLLM في أداء المهام المختلفة في مجال الكيمياء من خلال التفاعلات المحادثة السلسة، والأداء على قدم المساواة مع GPT-4 في المهام الأساسية وإظهار أداء مماثل لبرنامج LLMs ذي الحجم المماثل في السيناريوهات العامة. يفتح برنامج الماجستير في القانون الكيميائي (ChemLLM) آفاقًا جديدة للاستكشاف في مجال البحث الكيميائي، كما أن نهج فريق البحث المتمثل في دمج المعرفة الكيميائية المنظمة في نظام محادثة يضع معيارًا جديدًا لتطوير برامج الماجستير في القانون (LM) في مختلف المجالات العلمية.

وقد تم نشر البحث ذي الصلة، بعنوان "ChemLLM: نموذج لغة كيميائي كبير"، على arXiv. وقد تم جعل النتائج مفتوحة المصدر ومتاحة مجانًا للاستخدام التجاري.حاليًا، أطلقت HyperAI Hyper.ai "نشر نموذج كيميائي كبير بنقرة واحدة ChemLLM-7B-chat". ستجد البرنامج التعليمي خطوة بخطوة في نهاية المقال ~

أبرز الأبحاث:

* إنشاء مجموعة بيانات كيميائية واسعة النطاق ChemData وجعلها مفتوحة المصدر، بالإضافة إلى الإصدارات الصينية والإنجليزية من مجموعة بيانات ChemPref-10K، ومجموعة بيانات C-MHChem، ومجموعة بيانات معيار تقييم القدرات الكيميائية ChemBench4K

* تم إنشاء ChemBench وجعله مفتوح المصدر، وهو اختبار معياري للكيمياء واسع النطاق يتكون من 4100 سؤال اختيار من متعدد و9 مهام محددة

* من خلال اختبارات التقييم الكمي والنوعي، أظهر ChemLLM خبرة كيميائية جيدة وتنوعًا

عنوان الورقة:
https://arxiv.org/abs/2402.06852

أصبح الآن برنامج تعليمي للنموذج الكيميائي الكبير ChemLLM-7B-chat متاحًا عبر الإنترنت على hyper.ai. انقر على الرابط لنشره بنقرة واحدة:
https://go.hyper.ai/r31KV

تنزيل عنوان مجموعة بيانات المهام الكيميائية ChemData:
https://go.hyper.ai/zMJEl

يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:
https://github.com/hyperai/awesome-ai4s

مجموعة بيانات ChemData: مجموعة بيانات كيميائية واسعة النطاق تغطي 7 ملايين من بيانات الأسئلة والأجوبة

قام الباحثون بجمع البيانات الكيميائية من العديد من مستودعات الموارد عبر الإنترنت بما في ذلك PubChem وChEMBL وChEBI وZINC وغيرها، وبناءً على ذلك، قاموا بإنشاء مجموعة بيانات ChemData واسعة النطاق لضبط ChemLLM.

تستخدم مجموعة بيانات ChemData نهج بناء التعليمات القائم على القالب لتحويل البيانات الكيميائية المنظمة إلى شكل محادثة طبيعي مناسب لتدريب طلاب الماجستير في القانون.تحتوي مجموعة البيانات على 7 ملايين من بيانات الإجابة على الأسئلة لضبط التعليمات، وتغطي مجموعة واسعة من المعرفة في المجال الكيميائي، وتتوافق فئات بيانات الإجابة على الأسئلة مع الجزيئات والتفاعلات وفئات المهام الأخرى المتعلقة بالكيمياء.

في،تتضمن المهام المتعلقة بالجزيئات تحويل الاسم، وCaption2Mol، وMol2Caption، والتنبؤ بالخصائص الجزيئية.الهدف الرئيسي هو ضبط إدراك نموذج اللغة للجزيئات الكيميائية.

تتضمن المهام المتعلقة بالتفاعل جميع جوانب التفاعلات الكيميائية.بما في ذلك عملية التخليق الرجعي، والتنبؤ بالمنتج، والتنبؤ بالعائد، والتنبؤ بدرجة الحرارة والتنبؤ بالمذيبات. باستثناء البيانات التي يمكن تصنيفها بوضوح، يتم تجميع جميع البيانات الأخرى في أنواع محددة من المهام، وبالتالي تعزيز فهم ChemLLM للفضاء الكيميائي بأكمله. يوضح الشكل أدناه نسبة البيانات الموجودة في هذه الأنواع الثلاثة من المهام.

هندسة نموذج ChemLLM: استنادًا إلى InternLM2-Base-7B، ضبط التعليمات على مرحلتين

يتم تدريب نموذج اللغة الكيميائية الكبيرة ChemLLM على أساس نموذج InternLM2-Base-7B من خلال طريقة ضبط التعليمات على مرحلتين. فهو لا يحقق قدرات كيميائية متعددة فحسب، بل يحتفظ أيضًا بقدرات اللغة الطبيعية الكاملة.

كما هو موضح في الشكل أدناه، في المرحلة الأولى، استخدم فريق البحث Multi-Corpus (مجموعة شاملة تحتوي على 1.7 مليون زوج من الأسئلة والأجوبة تم جمعها من Hugging Face) لتحسين القدرة اللغوية العامة للنموذج وأطلق على النموذج الذي تم الحصول عليه في المرحلة الأولى اسم InternLM2-Chat-7B.

وفي المرحلة الثانية، قام فريق البحث بضبط النموذج باستخدام مجموعة بيانات مختلطة من ChemData وMulti-Corpus، حيث تم استخدام ChemData لتعزيز المعرفة الكيميائية للنموذج وتم استخدام Multi-Corpus للحفاظ على القدرات العامة للنموذج. بعد مرحلتين من التدريب على ضبط التعليمات، تم تحسين تنوع برنامج ChemLLM في مجال الكيمياء.

معيار ChemBench: تقليل تأثير أسلوب إخراج نموذج اللغة على نتائج التقييم

يتم تقديم معايير نموذج الكيمياء واسعة النطاق الحالية في الغالب في شكل إجابة على الأسئلة واستخدام BLEU و ROUGE كمعايير تقييم. ومع ذلك، فإن هذا النوع من التقييم يتأثر بسهولة بأسلوب إخراج نموذج اللغة ولا يناسب السيناريوهات التي تؤكد على صحة الحقائق العلمية.

وبناءً على ذلك، قام فريق البحث ببناء اختبار معياري كيميائي ChemBench، وهو مشابه لمجموعات التقييم السائدة الحالية MMLU وC-Eval. يتضمن ChemBench 9 مهام حول الجزيئات والتفاعلات الكيميائية، وهو نفس المهام الموجودة في مجموعة بيانات ChemData.بالإضافة إلى ذلك، يحتوي ChemBench على 4100 سؤال اختيار من متعدد، كل منها بإجابة صحيحة، وهو ما يهدف إلى تقليل تأثير أسلوب إخراج نموذج اللغة على نتائج التقييم.

ومن الجدير بالذكر أنه تم إطلاق المعيار على مشروع OpenCompass مفتوح المصدر. يوضح الشكل التالي توزيع المهام التسع لمعيار ChemBench.

نتائج البحث: الخبرة في الكيمياء النموذجية لبرنامج ChemLLM قابلة للمقارنة مع برنامج GPT-4 وأفضل بشكل ملحوظ من برامج LLM العامة ذات الحجم المماثل

قام فريق البحث بتقييم أداء النموذج الكيميائي اللغوي الكبير ChemLLM من الأبعاد الكمية والنوعية.يتضمن التقييم الكمي تقييم القدرة الكيميائية والقدرة العامة، في حين يتم تقييم التقييم النوعي بشكل أساسي من خلال الأداء في مهام معالجة اللغة الطبيعية (NLP) المرتبطة بالكيمياء.

في تقييم القدرة الكيميائية،يعد ChemBench بمثابة معيار لتقييم قدرات الكيمياء الأساسية، واختبار خبرة النموذج من خلال 9 مهام مختلفة. كما هو موضح في الشكل أدناه، يتفوق ChemLLM بشكل كبير على نماذج اللغة الكبيرة العامة (LLMs) ذات الحجم المماثل ويتفوق على GPT-3.5 في جميع المجالات. بالمقارنة مع InternLM2-Chat-7B، تم تحسين قدرة ChemLLM في الكيمياء بشكل كبير، مما يشير إلى أن المرحلة الثانية من تدريب القدرة على الكيمياء لها تأثير كبير. بالمقارنة مع GPT-4، حصل ChemLLM على درجة أعلى من GPT-4 في 6 من أصل 9 مهام.

في تقييم الكفاءة العامة،استخدم فريق البحث أربع مجموعات بيانات: MMLU، وC-Eval، وGSM8K، وC-MHChem لتقييم ChemLLM. ومن بينها، يعد اختبار MMLU اختبارًا مرجعيًا يغطي موضوعات متعددة التخصصات مثل العلوم والتكنولوجيا والهندسة والرياضيات والعلوم الإنسانية والعلوم الاجتماعية، ويجري تقييمًا واسع النطاق للمعرفة متعددة التخصصات؛ C-Eval هو اختبار شامل للغة الصينية يغطي مواضيع متعددة وينقسم إلى 4 مستويات صعوبة؛ GSM8K هو اختبار معياري لاختبار القدرة الرياضية لنماذج اللغة، ويتطلب حل المشكلات من خلال 2-8 خطوات من العمليات الرياضية الأساسية؛ C-MHChem عبارة عن مجموعة بيانات لتقييم المفاهيم الكيميائية الأساسية للنموذج، والتي تنطوي بشكل أساسي على اختبارات الكيمياء في المدارس الإعدادية والثانوية.

كما هو موضح في الشكل أدناه، يحقق ChemLLM دقة 65.6 و64.1 على معايير MMLU الإنجليزية وC-Eval الصينية، على التوالي، مما يدل على أداءه الممتاز في مجموعة أوسع من التخصصات والسيناريوهات متعددة اللغات.

في اختبار مجموعة البيانات GSM8K، وصلت دقة ChemLLM إلى 67.2. وأظهرت النتائج أن الضبط الدقيق للبيانات الكيميائية عزز قدرة النموذج على التفكير إلى حد ما.

في اختبار مجموعة بيانات C-MHChem، حقق ChemLLM دقة بلغت 76.4، متجاوزًا GPT-4، مما يدل على قدرات ChemLLM في امتحانات القبول في المدارس الثانوية الإعدادية والثانوية الصينية.

في التقييم النوعي،قام فريق البحث بتقييم برنامج ChemLLM من خلال مهام معالجة اللغة الطبيعية (NLP) المرتبطة بالكيمياء مثل إنشاء الشعر الكيميائي، واستخراج النصوص، وترجمة الأدبيات الكيميائية، والإجابات الأخلاقية. تظهر النتائج أن برنامج ChemLLM قادر على توفير فهم أعمق وتطبيق إبداعي للمعرفة الكيميائية في مهام معالجة اللغة الطبيعية المختلفة. يوضح الشكل التالي أداء ChemLLM في بعض مهام معالجة اللغة الطبيعية (NLP):

تظهر نتائج البحث المذكورة أعلاه أن ChemLLM قادر على التعامل مع المهام الكيميائية المختلفة من خلال المحادثات في الوقت الفعلي. وتتمتع بقدرات كيميائية مماثلة لتلك الخاصة بـ GPT-4، كما أنها تعمل بشكل جيد في مجالات أخرى.

حاليًا، أكملت ChemLLM جولة جديدة من الترقيات. يرتبط ChemLLM-1.5 بوظيفة RAG، والتي لا تدعم فقط التعدين المتعمق وفهم الأدبيات الكيميائية والبحث عبر الإنترنت، بل تدعم أيضًا الحوار المباشر مع ChemLLM لمناقشة محتوى المقالة. يشكل تطوير برنامج ChemLLM سابقة لبرنامج LLM في المجالات العلمية، مما يؤدي إلى تسريع تقدم البحث الكيميائي في عصر الذكاء الاصطناعي.

أطلقت شركة Hyper.ai "نشر النموذج الكيميائي الكبير ChemLLM-7B-chat بنقرة واحدة".فيما يلي برنامج تعليمي خطوة بخطوة وعرض التأثير. دعونا نستكشفه مع المحرر~

نشر نموذج الكيمياء الكبير ChemLLM-7B-chat بنقرة واحدة

تشغيل تجريبي

1. قم بتسجيل الدخول إلى hyper.ai، في صفحة "البرنامج التعليمي"، حدد "نشر نموذج Pu Ke الكيميائي الكبير ChemLLM-7B-chat Demo بنقرة واحدة"، ثم انقر فوق "تشغيل هذا البرنامج التعليمي عبر الإنترنت".

2. بعد الانتقال إلى الصفحة التالية، انقر فوق "استنساخ" في الزاوية اليمنى العليا لاستنساخ البرنامج التعليمي في الحاوية الخاصة بك.

3. انقر فوق "التالي: حدد معدل التجزئة" في الزاوية اليمنى السفلية.

4. بعد الانتقال إلى الصفحة التالية، حدد "NVIDIA GeForce RTX 4090" وانقر على "التالي: المراجعة". يمكن للمستخدمين الجدد التسجيل باستخدام رابط الدعوة أدناه للحصول على 4 ساعات من RTX 4090 + 5 ساعات من وقت فراغ وحدة المعالجة المركزية!

رابط دعوة حصرية لـ HyperAI (انسخ وافتح في المتصفح):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

5. انقر فوق "متابعة" وانتظر حتى يتم تخصيص الموارد. ستستغرق عملية الاستنساخ الأولى حوالي دقيقتين. عندما تتغير الحالة إلى "قيد التشغيل"، انقر فوق سهم الانتقال بجوار "عنوان API" للانتقال إلى صفحة "نشر Puke Chemical Large Model ChemLLM-7B-chat Demo بنقرة واحدة". يرجى ملاحظة أنه يجب على المستخدمين إكمال مصادقة الاسم الحقيقي قبل استخدام وظيفة الوصول إلى عنوان API.

إذا استمرت المشكلة لأكثر من 10 دقائق وكان النظام لا يزال في حالة "تخصيص الموارد"، فحاول إيقاف الحاوية وإعادة تشغيلها. إذا لم تؤد إعادة التشغيل إلى حل المشكلة، فيرجى الاتصال بخدمة عملاء المنصة على الموقع الرسمي.

معاينة التأثير

اختبار المعضلات الأخلاقية في تطوير الأدوية

مراجع:
1. https://mp.weixin.qq.com/s/C_aFYbzLlQySmTDarWWRkA
2. https://mp.weixin.qq.com/s/b9T9LxAkv4gnJMfBs2AW5Q