الشبكات العصبية تحل محل نظرية الكثافة الوظيفية! مجموعة أبحاث تسينغهوا تطلق نموذج المواد العالمي DeepH، محققة تنبؤًا فائق الدقة

في تصميم المواد، يعد فهم البنية الإلكترونية وخصائص المواد هو المفتاح للتنبؤ بأداء المواد واكتشاف مواد جديدة وتحسين أداء المواد. ماضي،تُستخدم نظرية الكثافة الوظيفية (DFT) على نطاق واسع في الصناعة لدراسة البنية الإلكترونية وخصائص المواد. جوهرها هو استخدام كثافة الإلكترون كحامل لجميع المعلومات في الحالة الأساسية للجزيئات (الذرات).بدلاً من دالة الموجة لإلكترون واحد، يتم تحويل نظام متعدد الإلكترونات إلى مشكلة إلكترون واحد للحل، وهو ما لا يبسط عملية الحساب فحسب، بل يضمن أيضًا دقة الحساب ويمكن أن يعكس توزيع الفتحة بدقة أكبر.

ومع ذلك، فإن DFT مكلفة حسابيًا ولا يمكن استخدامها عادةً إلا لدراسة أنظمة المواد على نطاق صغير. بفضل مبادرة جينوم المواد، بدأ العلماء في محاولة استخدام DFT لبناء قاعدة بيانات ضخمة للمواد. ورغم أن مجموعات البيانات التي تم جمعها حتى الآن محدودة فقط، فإنها تشكل بالفعل بداية رائعة. انطلاقًا من هذه النقطة، ومع جلب تكنولوجيا الذكاء الاصطناعي لتغييرات جديدة، بدأ الباحثون يفكرون، "هل يمكن أن يؤدي الجمع بين التعلم العميق وDFT والسماح للشبكات العصبية بتعلم جوهر DFT بشكل عميق إلى تحقيق تقدم ثوري؟"

هذا هو جوهر طريقة هاملتونيان نظرية الكثافة الوظيفية للتعلم العميق (DeepH).من خلال تغليف تعقيد DFT في شبكة عصبية، لا يتمكن DeepH من إجراء الحسابات بسرعة وكفاءة غير مسبوقة فحسب، بل يستمر ذكاؤه أيضًا في التحسن مع إضافة المزيد من بيانات التدريب.في الآونة الأخيرة، نجح فريق البحث المكون من Xu Yong وDuan Wenhui من قسم الفيزياء بجامعة Tsinghua في استخدام طريقة DeepH الأصلية لتطوير نموذج المادة العالمي DeepH وإظهار حل قابل للتطبيق لبناء "نموذج مادة كبير". يوفر هذا الاكتشاف فرصًا جديدة لاكتشاف مواد مبتكرة.

تم نشر البحث ذي الصلة، بعنوان "نموذج المواد العالمية لنظرية الكثافة الوظيفية للتعلم العميق هاميلتونيان"، في مجلة Science Bulletin.

عنوان الورقة:
https://doi.org/10.1016/j.scib.2024.06.011

يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:
https://github.com/hyperai/awesome-ai4s

إنشاء قاعدة بيانات كبيرة للمواد من خلال AiiDA للقضاء على تداخل المواد المغناطيسية

ولإثبات عالمية نموذج المواد العامة DeepH، قامت هذه الدراسة ببناء قاعدة بيانات كبيرة للمواد تحتوي على 104 مادة صلبة من خلال البنية التحتية وقاعدة البيانات التفاعلية التلقائية (AiiDA).

ولإظهار التركيبة العنصرية المتنوعة، اختارت الدراسة أيضًا الصفوف الأربعة الأولى من الجدول الدوري، وبالتالي استبعاد العناصر الانتقالية من Sc إلى Ni لتجنب التداخل من المواد المغناطيسية واستبعاد العناصر الغازية النادرة. تأتي هياكل المواد المرشحة من قاعدة بيانات مشروع المواد. بالإضافة إلى التصفية بناءً على نوع العنصر، يتم تحسين المواد المرشحة بشكل أكبر في عمود المواد لتشمل فقط تلك التي تحمل علامة "غير مغناطيسية". من أجل التبسيط، تم استبعاد الهياكل التي تحتوي على أكثر من 150 ذرة في الخلية الوحدوية.

ونتيجة لمعايير التصفية هذه، تتألف مجموعة بيانات المواد النهائية من إجمالي 12062 هيكلًا. أثناء عملية التدريب، يتم تقسيم مجموعة البيانات إلى مجموعة التدريب ومجموعة التحقق ومجموعة الاختبار بنسبة 6:2:2. التالي،استخدمت الدراسة إطار عمل AiiDA (البنية التحتية التفاعلية الآلية وقاعدة البيانات) لتطوير سير عمل عالي الإنتاجية لحسابات نظرية الكثافة الوظيفية واستخدمته لبناء قاعدة بيانات للمواد.

باستخدام Hamiltonian DFT كهدف، يتم تدريب DeepH باستخدام طريقة DeepH-2.

تشير الأبحاث إلى أنيعتبر هاميلتونيان DFT هدفًا مثاليًا للتعلم الآلي.

أولاً،هاملتونيان DFT هو كمية أساسية يمكن اشتقاقها مباشرة من الكميات الفيزيائية مثل الطاقة الكلية، وكثافة الشحنة، وبنية النطاق، والاستجابات الفيزيائية.يمكن لنموذج المواد العامة DeepH قبول أي بنية مادية كمدخل وإنشاء هاميلتونيان DFT المقابل، بحيث يمكن اشتقاق خصائص المواد المختلفة بشكل مباشر، كما هو موضح في الشكل أعلاه.

ثانيًا،في حالة وجود مجموعة أساس ذرية موضعية، يمكن تمثيل هاميلتونيان DFT كمصفوفة متفرقة يتم تحديد عناصرها بواسطة البيئة الكيميائية المحلية.في الشبكات العصبية المتغيرة، يستخدم DeepH ميزات الإخراج المسمى بأرقام كمية زاوية مختلفة l لتمثيل هاميلتونيان DFT، كما هو موضح في الشكل أعلاه. لذلك، يمكن للمرء أن يصمم عناصر مصفوفة هاميلتونيان بين الأزواج الذرية استنادًا إلى المعلومات البنيوية المجاورة دون الحاجة إلى تصميم مصفوفة هاميلتونيان DFT للبنية المادية بأكملها. لا يؤدي هذا إلى تبسيط مهمة التعلم العميق إلى حد كبير فحسب، بل يؤدي أيضًا إلى زيادة كمية بيانات التدريب بشكل كبير. من حيث الاستدلال، بمجرد أن تتعلم شبكة التعلم العميق ما يكفي من بيانات التدريب، يمكن تعميم النموذج المدرب بشكل جيد على المزيد من الهياكل المادية الجديدة التي لم يتم رؤيتها.

الفكرة الأساسية لـ DeepH هي استخدام الشبكات العصبية لتمثيل HDFT.من خلال تغيير بنية مادة الإدخال، يتم أولاً إنشاء بيانات تدريب HDFT التي تم إنشاؤها بواسطة رمز DFT، والتي يتم استخدامها بعد ذلك لتدريب الشبكة العصبية. ويتم بعد ذلك استخدام نماذج الشبكة المدربة هذه لاستنتاج هياكل مادية جديدة.

في هذه العملية، هناك معرفتان مسبقتان مهمتان للغاية: الأولى هي مبدأ المحلية،تمثل هذه الدراسة هاملتوني DFT في عينة ذرية موضعية وتحلل هاملتوني إلى كتل تصف إما اقترانات بين الذرات أو اقترانات داخل الذرات. لذلك، قد يتوافق هيكل مادة تدريبية واحدة مع كتلة هاميلتونية لعدد كبير من البيانات. علاوة على ذلك، يمكن تحديد كل كتلة هاميلتونية على أساس المعلومات حول الهيكل المحلي وليس الهيكل بأكمله. يضمن هذا التبسيط الدقة العالية وإمكانية نقل نموذج DeepH.

الثاني هو مبدأ التناظر.تظل قوانين الفيزياء كما هي عند النظر إليها من أنظمة إحداثيات مختلفة. لذلك، فإن الكميات الفيزيائية والمعادلات المقابلة تظهر التكافؤ تحت تحويل الإحداثيات. إن الحفاظ على التكافؤ لا يؤدي إلى تحسين كفاءة البيانات فحسب، بل يعزز أيضًا القدرة على التعميم، مما قد يحسن أداء DeepH بشكل كبير. يعمل الجيل الأول من هندسة DeepH على تبسيط مشكلة التكافؤ من خلال نظام إحداثيات محلي واستعادة الميزات المكافئة من خلال تحويل الإحداثيات المحلية. يعتمد الجيل الثاني من هندسة DeepH على شبكة عصبية مكافئة ويسمى DeepH-E3. في هذا الإطار، تكون متجهات الميزات لجميع طبقات الإدخال والإخراج والمخفية متجهات متكافئة. في الآونة الأخيرة، اقترح أحد مؤلفي هذا العمل بنية الجيل الجديد للتعلم العميق، DeepH-2. من حيث الكفاءة والدقة، فإن DeepH-2 يقدم أفضل أداء.

باختصار، تم تدريب نموذج التعلم العميق DeepH لهذه الدراسة باستخدام طريقة DeepH-2، والذي يحتوي على إجمالي 17.28 مليون معلمة. وقد تم تشكيل شبكة عصبية يمكن استخدامها لتمرير الرسائل بناءً على 3 كتل تحويل متكافئة، وكل عقدة وحافة تحمل 80 ميزة متكافئة.تم تضمين البنية المادية بالعدد الذري والمسافة بين الذرات، وتم اعتماد استراتيجية التنعيم الغاوسي، مع نطاق مركزي لوظائف الأساس من 0.0 إلى 9.0Å. يتم تمرير ميزات الإخراج للشبكة العصبية عبر الطبقة الخطية ثم يتم إنشاء هاميلتونيان DFT من خلال طبقة Wigner-Eckart.

تم تدريب الدراسة على وحدات معالجة الرسوميات NVIDIA A100 لمدة 343 حقبة و207 ساعات. خلال عملية التدريب بأكملها، يتم تثبيت حجم الدفعة على 1، مما يعني أن كل دفعة تحتوي على بنية مادية واحدة. أخيرًا، معدل التعلم الأولي هو 4×10-4، ومعدل الاضمحلال هو 0.5، وصبر الاضمحلال هو 20، ومعدل التعلم المحدد الأدنى هو 1×10-5، ويتوقف التدريب عندما يصل معدل التعلم إلى هذه القيمة.

يتمتع DeepH بأداء استدلالي ممتاز ويمكنه توفير تنبؤات دقيقة لبنية النطاق

كان متوسط الأخطاء المطلقة (MAE) لعناصر مصفوفة هاملتونيان لنظرية الكثافة الوظيفية التي تنبأ بها النموذج في مجموعات التدريب والتحقق والاختبار 1.45 و2.35 و2.20 ميجا فولت على التوالي.وهذا يوضح قدرة النموذج على التفكير في الهياكل غير المرئية.

عند تقييم أداء نموذج المواد العامة الذي تم تدريبه بطريقة Deep-2 باستخدام قاعدة بيانات مواد كبيرة مكونة من 104 مادة صلبة، كان لدى حوالي 80٪ من الهياكل المادية خطأ مطلق متوسط أقل من المتوسط (2.2 ميجا إلكترون فولت) بين جميع الهياكل في مجموعة البيانات. 34 بنية فقط (حوالي 1.4% من مجموعة الاختبار) لها خطأ مطلق متوسط يزيد عن 10 ميجا إلكترون فولت، مما يشير إلى أن النموذج يتمتع بدقة تنبؤ جيدة للهياكل الرئيسية.

ومن خلال تحليل مجموعة البيانات بشكل أعمق، قد يكون الانحراف في أداء النموذج فيما يتعلق ببنية المواد ناتجًا عن الانحراف في توزيع مجموعة البيانات.توصلت الدراسة إلى أنه كلما زاد عدد هياكل التدريب لأزواج العناصر الموجودة في مجموعة البيانات، كان متوسط الخطأ المطلق المقابل أصغر. قد تشير هذه الظاهرة إلى وجود "قانون التوسع" في نماذج المواد العامة للتعلم العميق، أي أن مجموعات البيانات التدريبية الأكبر قد تعمل على تحسين أداء النموذج.

من أجل تقييم دقة نموذج المواد العامة DeepH في التنبؤ بخصائص المواد، استخدمت هذه الدراسة هاميلتونيان DFT المبني على نظرية الكثافة الوظيفية (DFT) والمتوقع من DeepH في حساب الأمثلة، ثم قارنت نتائج الحساب التي تم الحصول عليها من خلال هاتين الطريقتين. وتظهر النتائج أنالنتائج التي تنبأت بها DeepH قريبة جدًا من النتائج التي تم حسابها بواسطة DFT، مما يدل على دقة التنبؤ الممتازة لـ DeepH في حساب خصائص المواد.

في تطبيق محدد، بحثت الدراسة في أشكال الكربون المتآصلة باستخدام نموذج مادة عامة مضبوط بدقة. ومن بينها، تأتي مجموعة بيانات المواد الكربونية من قاعدة بيانات سامارا للكربون المتآصل (SACADA)، والتي تحتوي على ما مجموعه 427 شكلاً متآصلاً للكربون مع هياكل ذرية مختلفة.

وبناءً على ذلك، قام الباحثون بضبط النموذج العام للمواد وإنشاء نموذج DeepH محسن خصيصًا للمواد الكربونية. بالمقارنة مع النموذج بدون تدريب مسبق، يمكن للضبط الدقيق أن يقلل بشكل كبير من متوسط الخطأ المطلق لـ DFT Hamiltonian المتوقع إلى 0.54 meV، ويمكنه أيضًا تحقيق دقة تنبؤ مماثلة في هياكل التدريب بأقل من 50%.

بالإضافة إلى ذلك، يعمل الضبط الدقيق على تحسين تقارب التدريب بشكل كبير ويقلل من وقت التدريب. يمكن القول أن الضبط الدقيق يساعد على تحسين دقة التنبؤ وتعزيز كفاءة التدريب. والأهم من ذلك،وأظهر نموذج DeepH المُعدَّل بدقة مزايا كبيرة في التنبؤ بخصائص المواد. يمكن للنموذج المضبوط بدقة أن يوفر تنبؤات دقيقة لبنية النطاق لجميع الهياكل التي تم اختبارها تقريبًا.

النموذج المادي يتزايد، ولا يزال أمام AI4S طريق طويل ليقطعه

انطلاقًا من ChatGPT، دخلت الذكاء الاصطناعي رسميًا إلى "عصر النموذج الكبير" الجديد. يتميز هذا العصر باستخدام مجموعات البيانات الضخمة والخوارزميات المتقدمة لتدريب نماذج التعلم العميق القادرة على التعامل مع المهام المعقدة.وفي مجال علم المواد، تتحد هذه النماذج الكبيرة مع حكمة الباحثين لتدشين عصر جديد غير مسبوق من الأبحاث.لا تستطيع هذه النماذج الكبيرة معالجة وتحليل كميات هائلة من البيانات العلمية فحسب، بل يمكنها أيضًا التنبؤ بخصائص وسلوك المواد، وبالتالي تسريع اكتشاف وتطوير مواد جديدة ودفع هذا المجال نحو اتجاه أكثر كفاءة ودقة.

على مدى الفترة الماضية، كان الذكاء الاصطناعي للعلوم يصطدم باستمرار بعلم المواد لخلق شرارات جديدة.

مقرها في الصين،عملت مجموعة SF10 التابعة لمركز بكين الوطني لأبحاث فيزياء المادة المكثفة، ومعهد الفيزياء التابع للأكاديمية الصينية للعلوم، ومركز معلومات شبكة الكمبيوتر التابع للأكاديمية الصينية للعلوم معًا لتزويد عشرات الآلاف من بيانات مسار التخليق الكيميائي إلى النموذج الكبير LLAMA2-7b، وبالتالي الحصول على نموذج MatChat، والذي يمكن استخدامه للتنبؤ بمسار تخليق المواد غير العضوية؛ نجحت جامعة العلوم والتكنولوجيا الإلكترونية في الصين، بالتعاون مع جامعة فودان ومعهد نينغبو لتكنولوجيا المواد والهندسة التابع للأكاديمية الصينية للعلوم، في تطوير "مواد كهربائية حديدية مقاومة للتعب"، لتتصدر بذلك العالم في التغلب على مشكلة التعب في المواد الكهربائية الحديدية التي عانت منها هذه المجالات لأكثر من 70 عامًا؛ قام مختبر AIMS بجامعة شنغهاي جياو تونغ بتطوير الجيل الجديد من نموذج تصميم المواد الذكي Alpha Mat. ... تظهر نتائج الأبحاث بشكل متكرر، ودخلت الابتكارات والاكتشافات المادية عصرًا جديدًا.

بالنظر حول العالم،طورت شركة DeepMind التابعة لشركة Google برنامج GNoME، وهو نموذج التعلم التعزيزي للذكاء الاصطناعي لعلم المواد، والذي وجد أكثر من 380 ألف مادة بلورية مستقرة ترموديناميكيًا، وهو ما يعادل "إضافة 800 عام من التراكم الفكري للبشرية"، مما أدى إلى تسريع كبير في سرعة البحث لاكتشاف مواد جديدة؛ يمكن لنموذج توليد الذكاء الاصطناعي MatterGen من Microsoft في مجال علوم المواد التنبؤ ببنية المواد الجديدة عند الطلب بناءً على خصائص المواد المطلوبة؛ تعاونت شركة Meta AI مع الجامعات الأمريكية لتطوير مجموعة بيانات المواد التحفيزية الرائدة في الصناعة Open Catalyst Project، ومجموعة بيانات امتصاص الإطار المعدني العضوي OpenDAC... وقد أحدثت شركات التكنولوجيا العملاقة ثورة في مجال علوم المواد بتقنياتها الخاصة.

على الرغم من مقارنتها بأساليب البحث والتطوير التقليدية للمواد، فإن الذكاء الاصطناعي يفتح الباب لاستكشاف مجموعة أوسع من إمكانيات المواد ويقلل بشكل كبير الوقت والتكاليف المرتبطة باكتشاف المواد. ومع ذلك، لا تزال الذكاء الاصطناعي للعلوم تواجه تحديات في المصداقية والتنفيذ الفعال في مجال المواد، بما في ذلك ضمان جودة البيانات وتحديد التحيزات المحتملة في البيانات المستخدمة لتدريب أنظمة الذكاء الاصطناعي والتخفيف منها. وقد يعني هذا أيضًا أن الطريق لا يزال طويلاً قبل أن يتمكن الذكاء الاصطناعي من لعب دور أكبر في مجال علم المواد.