تمت زيادة كفاءة إنتاج المواد المستقرة بواسطة 300%! أصدرت Meta FAIR نموذج توليد المواد FlowLLM، مع مجموعة بيانات تغطي أكثر من 45000 مادة
المواد البلورية هي فئة من المواد ذات الهياكل الذرية أو الأيونية أو الجزيئية المرتبة بشكل منتظم، وتلعب دورًا مهمًا في الصناعة والتكنولوجيا.
ومع ذلك، فإن عملية إنشاء وتصميم المواد البلورية ليست بسيطة وعادة ما تتطلب النظر في مجموعة من المتغيرات المنفصلة والمستمرة في نفس الوقت. تحدد المتغيرات المنفصلة الإطار الأساسي للمادة (مثل النوع الذري والبنية الشبكية الأولية)، في حين تسمح المتغيرات المستمرة بالضبط الدقيق والتحسين داخل هذا الإطار الأساسي لتوليد مواد بلورية في النهاية بخصائص فيزيائية وكيميائية محددة.
مع التطبيق متعدد التخصصات لتكنولوجيا الذكاء الاصطناعي،أصبحت كيفية الجمع الفعال بين المتغيرات المنفصلة والمستمرة في النموذج للحصول على تأثيرات توليد المواد البلورية عالية الجودة مشكلة أساسية في مجال توليد المواد البلورية.
على الرغم من أن الأساليب الحالية، بما في ذلك نماذج اللغة الكبيرة الانحدارية التلقائية (LLMs) ونماذج إزالة الضوضاء (مثل نماذج انتشار إزالة الضوضاء ونماذج مطابقة التدفق)، حققت بعض النجاح في هذا المجال، إلا أن لها جميعًا حدودها الخاصة.
على وجه التحديد، يتفوق برنامج LLM في نمذجة القيم المنفصلة، وخاصة العناصر المنفصلة مثل أنواع الذرات، ولكنه يواجه صعوبة في وصف هندسة الشبكة ومواقع الذرات بدقة. يتمتع نموذج إزالة الضوضاء بمزايا أكثر في التعامل مع المتغيرات المستمرة ويمكنه الحفاظ بشكل أفضل على التباين المتساوي في البنية البلورية، لكنه يواجه عقبات في نمذجة العناصر المنفصلة مثل الأنواع الذرية.
وبناءً على ذلك، أصدر مختبر FAIR التابع لجامعة ميتا وجامعة أمستردام بشكل مشترك نموذج توليد المواد FlowLLM.هذا نموذج توليدي جديد يجمع بين نموذج اللغة الكبير (LLM) ومطابقة التدفق الريماني (RFM). إنها أكثر كفاءة في توليد مواد مستقرة من النماذج السابقة بما يزيد عن 300%، كما تم تحسين كفاءة توليد مواد SUN أيضًا بنحو 50%، مع الاحتفاظ بقدرة LLM على توفير مطالبات اللغة الطبيعية.
* تشير مواد SUN إلى المواد المستقرة والفريدة والجديدة، والتي يتم إنشاؤها من خلال تقنية الذكاء الاصطناعي في مجال علم المواد. تم اقتراح هذا المفهوم من قبل شركة Microsoft عند مناقشة نموذج MatterGen.
تم تحميل البحث ذي الصلة، بعنوان "FlowLLM: Flow Matching for Material Generation with Large Language Models as Base Distributions"، إلى موقع arXiv للطباعة المسبقة وتم قبوله بواسطة NeurIPS 2024.
أبرز الأبحاث:
* يجمع برنامج FlowLLM بين برنامجي LLM وRFM، مما يعمل على سد الفجوة بين النمذجة المنفصلة والمستمرة بشكل فعال، مما يحسن بشكل كبير من كفاءة توليد مواد مستقرة وفريدة ومبتكرة
* يتفوق FlowLLM بشكل كبير على CD-VAE وDiffCSP وFlowMM وCrystalLLM والنماذج الأخرى في توليد مواد جديدة ومستقرة. معدل استقراره أعلى بحوالي 300% من أفضل طراز سابق، ومعدل SUN الخاص به أعلى بحوالي 50%
عنوان الورقة:
https://arxiv.org/pdf/2410.23405
قم بمتابعة الحساب الرسمي والرد "FlowLLM" للحصول على ملف PDF كامل
يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:
https://github.com/hyperai/awesome-ai4s
مجموعة البيانات: تحتوي على 45,231 مادة، وتم تدريب النموذج على مجموعة البيانات MP-20
تم تدريب نموذج FlowLLM على مجموعة بيانات المواد البلورية غير العضوية MP-20. يحتوي MP-20 على 45231 مادة،مجموعة فرعية من مشروع المواد تحتوي على ما يصل إلى 20 ذرة تعتبر غير مستقرة.
أولاً، قام الباحثون بتدريب LLM بشكل مستقل باستخدام مجموعة البيانات MP-20 وقاموا بضبطها في PyTorch وTransformers باستخدام طريقة LoRA (محولات الرتبة المنخفضة). بعد ذلك، استخدم الباحثون LLM (الوزن المجمد) المضبوط بدقة كتوزيع أساسي ومجموعة بيانات MP-20 كتوزيع مستهدف لمزيد من تدريب نموذج RFM.
المزايا التكميلية: من خلال الجمع بين نموذجي LLM + RFM، ظهر نموذج الجيل الجديد FlowLLM
FlowLLM هو نموذج توليدي جديد يجمع بين نموذج اللغة الكبير (LLM) ونموذج مطابقة التدفق الريماني (RFM).إنها دراسة أخرى مبنية على العمل السابق، تجمع بشكل إبداعي بين LLM وRFM.
يأتي معيار LLM المستخدم هنا من النتيجة "نماذج اللغة المضبوطة بدقة تولد مواد غير عضوية مستقرة على شكل نص" التي أصدرها Meta FAIR وجامعة نيويورك في فبراير من هذا العام. أثبتت الدراسة أن معدل نجاح نموذج LLM الدقيق (LLaMA-2 70B) في التنبؤ بتوليد المواد غير المستقرة هو ضعف معدل نموذج الانتشار التنافسي CDVAE.
عنوان الورقة:
https://arxiv.org/abs/2402.04379
يأتي FlowMM من النتيجة "FlowMM: توليد المواد باستخدام مطابقة التدفق الريماني" التي أصدرها Meta FAIR وجامعة أمستردام في يونيو من هذا العام. باعتباره نموذجًا توليديًا، يعد FlowMM أكثر كفاءة بثلاث مرات من طرق المصدر المفتوح السابقة في العثور على مواد مستقرة.
عنوان الورقة:
https://arxiv.org/abs/2406.04713
كما هو موضح في الشكل أدناه، يستخدم الباحثون أولاً نموذج LLM المُعدَّل بدقة لتوليد تمثيل مادي أولي من خلال استعلام غير مشروط. ثم يقوم نموذج RFM بتحويل المادة بشكل متكرر، وتحديث مواقعها الذرية ومعلمات الشبكة. تجدر الإشارة إلى أنه في RFM، يبقى نوع الذرة دون تغيير.
ويشير الباحثون إلى أن الجمع بين النموذجين يمكن أن يكمل نقاط القوة لدى كل منهما.من ناحية أخرى، يوفر برنامج LLM أساسًا جيدًا للتعلم لتوزيع RFM:يعمل توزيع مخرجات LLM كتوزيع أساسي مكتسب لـ RFM، ويحل محل توزيع الأساس الموحد المستخدم بشكل شائع. نظرًا لأن LLM تم تدريبه على بيانات المواد، فإن توزيع الأساس المستفاد أقرب إلى توزيع الهدف، مما يبسط إلى حد كبير التكامل مع RFM.
* في نماذج التدفق (مثل RFM)، يكون التوزيع الأساسي هو التوزيع الأولي الذي ينتج النموذج منه العينات. إن تعلم التوزيع الأساسي يمكن أن يساعدك في التقاط البنية والأنماط الحقيقية للبيانات بشكل أكثر دقة. وخاصة عند التعامل مع البيانات المعقدة (مثل الهياكل البلورية في تصميم المواد)، فإن تعلم التوزيع الأساسي يمكن أن يحسن بشكل فعال جودة العينات المولدة وأداء النموذج.
من ناحية أخرى، يعمل RFM على تحسين مخرجات LLM:تنتج LLM تمثيلًا تقريبيًا للمواد نظرًا لدقتها المحدودة عند معالجة القيم المستمرة. يقوم RFM بتحسين هذا التقريب من خلال إزالة الضوضاء التكرارية، مما يؤدي إلى تمثيل أكثر دقة.
ممتاز: تم زيادة كفاءة توليد المواد المستقرة للنموذج بمقدار 300%، كما تم زيادة كفاءة توليد المواد من SUN بمقدار 50%
لاختبار أداء النموذج، قارن الباحثون نموذج FlowLLM مع نموذج CD-VAE (نموذج هجين من مشفر ذاتي متغير ونموذج انتشار)، ونموذج DiffCSP (نموذج انتشار)، ونموذج FlowMM (نموذج مطابقة التدفق الريماني)، ونموذج CrystalLLM (نموذج LLaMA-2 مضبوط على تسلسلات المواد)، وطلبوا من كل نموذج إنشاء 10000 بنية جديدة.
في مقارنة الأداء،وكانت المؤشرات الرئيسية التي ركز عليها الباحثون هي معدل الاستقرار ومعدل SUN. على وجه التحديد، يشير الاستقرار إلى نسبة المواد المستقرة ترموديناميكيًا في المواد الناتجة، وهو مؤشر مهم على قابلية التوليف؛ يشير معدل SUN إلى نسبة المواد المستقرة والفريدة والجديدة. وتظهر النتيجة في الشكل أدناه:
من حيث الاستقرار ومعدل SUN،وتبلغ نسبة المواد المستقرة ترموديناميكيًا في المواد التي يولدها نموذج FlowLLM 17.82%، ويصل معدل SUN إلى 4.92%. وقد قدم فريق البحث في الورقة البحثية:وبالمقارنة مع النموذج الأمثل السابق، تم تحسين معدل استقرار FlowLLM بمقدار 300%، وتم تحسين معدل SUN بمقدار 50%.
تعتبر قيمة Ehull واحدة من المعايير المهمة لقياس استقرار المواد وقابليتها للتصنيع. بالنسبة لبنية مادة معينة، إذا كانت قيمة Ehull قريبة من الصفر، فهذا يعني أن المادة مستقرة إلى حد كبير ومن المرجح أن توجد في عملية التركيب الفعلية. قد تشير قيمة Ehull الأعلى إلى أن المادة غير مستقرة ويصعب تصنيعها.
لمزيد من اختبار استقرار وقابلية تصنيع المواد التي تم إنشاؤها بواسطة FlowLLM،قام الباحثون بمقارنة قيم Ehull للمواد التي تم إنشاؤها بواسطة FlowLLM مع تلك الموجودة في النماذج الموجودة، كما هو موضح في الشكل أدناه. يمثل الخط المنقط عتبة الاستقرار الديناميكي الحراري (Ehull = 0)، ويمثل اللون الأحمر نموذج FlowLLM، ويمثل اللون الأزرق CD-VAE وDiffCSP وFlowMM على التوالي.
يمكن ملاحظة أن FlowLLM يمكنه توليد المزيد من المواد بقيم Ehull أقل مقارنة بالنماذج الأخرى. وهذا يعني،المواد التي تم إنشاؤها بواسطة FlowLLM أكثر استقرارًا وقابلية للتركيب من تلك التي تم إنشاؤها بواسطة نماذج أخرى.
بالإضافة إلى ذلك، قام الباحثون بتقييم قيمة N-ary للنموذج. تشير قيمة N-ary إلى عدد أنواع العناصر المختلفة في المادة.كلما زادت قيمة N-ary، كلما زادت تعقيد المادة وأصبح من الصعب تصنيعها.وكما هو موضح في الشكل أدناه، قام الباحثون بمقارنة توزيع قيم N-ary للنماذج المختلفة. وتظهر النتائج أن FlowMM وFlowLLM أكثر اتساقًا مع توزيع البيانات من نموذج الانتشار. وهذا يعني أنه عند تركيب بيانات المواد، يتم استخدام نماذج FlowMM وFlowLLMيمكن التقاط البنية الجوهرية وخصائص التوزيع للمادة بشكل أفضل.
وأخيرًا، أجرى الباحثون أيضًا تحليلًا مقارنًا لخطوات تكامل RFM للنموذج. كما هو موضح في الشكل أدناه، بالمقارنة مع نماذج مطابقة الانتشار والتدفق التي تتطلب مئات أو آلاف خطوات التكامل،FlowLLM قادر على التقارب في أقل من 50 خطوة.
مائة مدرسة فكرية في مجال توليد المواد البلورية
في مجال أبحاث علوم المواد، دخل مختبر FAIR التابع لـ Meta مؤخرًا فترة من الإنتاجية العالية. قبل بضعة أسابيع فقط، تم إصدار مجموعة البيانات OMat24، والتي تحتوي على أكثر من 110 مليون نتيجة حساب DFT تركز على التنوع البنيوي والتكويني، مما يوفر "مواد خام" جديدة عالية الجودة لتدريب النموذج.
في الواقع، في مجال توليد المواد البلورية، بالإضافة إلى نماذج LLM وإزالة الضوضاء المذكورة في هذه المقالة، هناك العديد من الطرق الأخرى، مثل توليد المواد على أساس الشبكات التوليدية التنافسية (GANs)، وتوليد المواد على أساس المشفرات التلقائية المتغيرة (VAEs)، وتوليد المواد على أساس الشبكات العصبية البيانية (GNNs)، وما إلى ذلك.
في عام 2018، قامت جامعة باريس الشرقية وجامعة السوربون بدمج وحدتين من شبكات GAN متعددة المجالات لاقتراح CrystalGAN.ومن الجدير بالذكر أنه تم تطبيق CrystalGAN في اكتشاف مواد تخزين الهيدروجين، مما يدل على فعاليته في حل التحديات الحقيقية في الكيمياء وعلوم المواد.
نُشر البحث ذو الصلة في ICLR 2019 تحت عنوان "CrystalGAN: تعلم كيفية اكتشاف الهياكل البلورية باستخدام الشبكات التنافسية التوليدية".
عنوان الورقة:
https://openreview.net/pdf?id=SyEGUi05Km
في عام 2021، اقترح مختبر الكمبيوتر والذكاء الاصطناعي في معهد ماساتشوستس للتكنولوجيا CD-VAE.يقوم بالتقاط التحيز الاستقرائي الفيزيائي لاستقرار المواد من خلال تعلم توزيع البيانات للمواد المستقرة. نُشر البحث ذو الصلة في مؤتمر ICLR 2022 تحت عنوان "مشفر ذاتي متغير لانتشار البلورات لتوليد المواد الدورية".
عنوان الورقة:
https://openreview.net/forum?id=03RLpj-tc_
في عام 2023، أصدرت جامعة شولالونغكورن في تايلاند ومركز التميز في الفيزياء في تايلاند DP-CDVAE بناءً على أبحاث CD-VAE. مع الحفاظ على الأداء المماثل لـ CD-VAE، يُظهر DP-CDVAE مزايا كبيرة من حيث دقة الطاقة وأداء التوليد وجودة توليد الشبكة.
نُشر البحث ذو الصلة في مجلة Nature تحت عنوان "نماذج الاحتمالية الانتشارية تعزز المشفر التلقائي المتغير لنمذجة توليد البنية البلورية".
عنوان الورقة:
https://www.nature.com/articles/s41598-024-51400-4
في عام 2023، أصدر فريق المواد في Google DeepMind برنامج GNoME، وهو نموذج شبكة عصبية بيانية لاستكشاف المواد.في فترة قصيرة من الزمن، تم اكتشاف 2.2 مليون بلورة جديدة (أي ما يعادل ما يقرب من 800 عام من المعرفة المتراكمة لدى العلماء البشريين)، ومن بينها 380 ألف بلورة جديدة ذات هياكل مستقرة، مما يجعلها المواد الجديدة المحتملة الأكثر احتمالية للتصنيع التجريبي ووضعها موضع الاستخدام.
وفي هذا العام، اقترح باحثون من جامعة توهوكو ومعهد ماساتشوستس للتكنولوجيا أيضًا نموذج GNNOpt استنادًا إلى طريقة GNN.لقد أدى النجاح في تحديد 246 مادة ذات كفاءة تحويل طاقة شمسية تتجاوز 32% و 296 مادة كمية ذات وزن كمي مرتفع إلى تسريع اكتشاف مواد الطاقة والكم بشكل كبير.
والنتائج البحثية ذات الصلة هي أكثر من ذلك بكثير. وفي مجال إنتاج المواد البلورية، نشهد مشهدًا مزدهرًا لـ "مائة مدرسة فكرية متنافسة". ومع تعمق الأبحاث، لدينا ما يجعلنا نعتقد أن هذه الأساليب والنظريات المبتكرة سوف توفر حلولاً رئيسية للتحديات العالمية في مجالات مثل الطاقة والبيئة والصحة.
