عصر جديد من استكشاف المواد! أصدر فريق Xu Yong و Duan Wenhui من جامعة Tsinghua إطار عمل وظيفي لكثافة الشبكة العصبية لفتح الصندوق الأسود للتنبؤ بالهيكل الإلكتروني!

تلعب نظرية الكثافة الوظيفية (DFT)، كأداة رئيسية للتنبؤ بخصائص المواد وتفسيرها، دورًا لا غنى عنه في الفيزياء والكيمياء وعلوم المواد وغيرها من المجالات.ومع ذلك، فإن DFT التقليدية تتطلب عادةً قدرًا كبيرًا من موارد الحوسبة والوقت، كما أن نطاق تطبيقها محدود بشكل كبير.

باعتباره مجالًا متعدد التخصصات ناشئًا، فإن الجمع بين التعلم العميق ونظرية الكثافة الوظيفية للتنبؤ بالمواد الجديدة واكتشافها من خلال عدد كبير من عمليات المحاكاة الحاسوبية يتغلب تدريجيًا على أوجه القصور في حسابات DFT التقليدية التي تستغرق وقتًا طويلاً ومعقدة، ولديها إمكانات تطبيقية كبيرة في بناء قواعد بيانات المواد الحاسوبية. تعمل خوارزميات الشبكة العصبية على تسريع إنشاء قواعد بيانات المواد الأكبر حجمًا، ويمكن لمجموعات البيانات الأكبر حجمًا تدريب نماذج الشبكة العصبية الأكثر قوة. ومع ذلك، فإن معظم أبحاث التعلم العميق الحالية في DFT تعالج مهمة DFT والشبكة العصبية بشكل منفصل، مما يحد بشكل كبير من التطوير التعاوني بين الاثنين.

من أجل الجمع بين خوارزمية الشبكة العصبية وخوارزمية DFT بشكل أكثر عضوية، اقترحت مجموعة البحث المكونة من Xu Yong و Duan Wenhui من جامعة Tsinghua إطار نظرية كثافة الشبكة العصبية الوظيفية (DFT للشبكة العصبية).يوحد هذا الإطار بين تقليل وظائف الخسارة في الشبكات العصبية وتحسين وظائف الطاقة في نظرية الكثافة الوظيفية. وبالمقارنة مع طرق التعلم الإشرافي التقليدية، فإنها تتمتع بدقة وكفاءة أعلى، وتفتح مسارًا جديدًا لتطوير طرق DFT للتعلم العميق.

وكان عنوان البحث "نظرية كثافة الشبكة العصبية الوظيفية القائمة على تقليل الطاقة المتغيرة" ونشر في مجلة Phys. القس ليت

أبرز الأبحاث:

* اقترحت هذه الدراسة إطارًا نظريًا لنظرية كثافة الشبكة العصبية الوظيفية، من خلال الجمع بين نظرية كثافة التباين الوظيفية مع الشبكة العصبية المكافئة

* تعتمد هذه الدراسة على لغة جوليا ودمجها مع إطار التمايز التلقائي Zygote لتطوير برنامج حوسبة يسمى AI2DFT من الصفر. في AI2DFT، يمكن استخدام التمايز التلقائي (AD) لكل من حسابات DFT المتغيرة وتدريب الشبكة العصبية.

عنوان الورقة:
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.133.076401

يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:

https://github.com/hyperai/awesome-ai4s

التعلم العميق وتكامل DFT لتحقيق التعلم غير الخاضع للإشراف للمعلومات المادية

تعتبر طريقة Kohn-Sham DFT هي طريقة الحساب الأكثر استخدامًا على نطاق واسع في المبادئ الأولى في محاكاة المواد.تقوم هذه الطريقة بتبسيط مشكلة تفاعل الإلكترون المعقدة عن طريق تحويلها إلى مشكلة إلكترون غير متفاعل مبسطة موصوفة بواسطة هاملتونيان كوهن-شام فعال لجسيم واحد، وتستخدم دالة تبادل الارتباط التقريبية للنظر في تأثيرات الأجسام المتعددة المعقدة. على الرغم من أن معادلة كوهن-شام مشتقة رسميًا من مبدأ التباين وتحظى بشعبية كبيرة في مجال الفيزياء النظرية، إلا أنها لا تُستخدم غالبًا في حسابات DFT لأن الحلول التكرارية للمعادلات التفاضلية أكثر كفاءة.

ومع ذلك، مع المزيد من تكامل التعلم العميق وDFT، تغير نموذج التطوير هذا تمامًا.

يعتمد البحث في مجال التعلم العميق DFT بشكل أساسي على تقنيات التعلم الخاضع للإشراف القائمة على البيانات. كما هو موضح في الشكل أ أدناه، بشكل عام، تقوم طرق التعلم الخاضع للإشراف التقليدية المعتمدة على البيانات بتوليد بيانات التدريب عن طريق إجراء حسابات DFT SCF على هياكل مادية مختلفة، ثم تصميم شبكة عصبية وتدريبها للتنبؤ ببيانات مماثلة لنتائج DFT. في هذه العملية، يتم فصل الشبكة العصبية وDFT.

في الوقت الحاضر، كما هو موضح في الشكل ب أعلاه، فإن التعلم غير الخاضع للإشراف للمعلومات المادية استنادًا إلى DFT للشبكة العصبية يحقق المشاركة والتعاون بين خوارزمية الشبكة العصبية وخوارزمية DFT من خلال الجمع بين تحسين الطاقة الوظيفية في DFT مع تقليل دالة الخسارة في الشبكة العصبية.والأمر الأكثر أهمية هو أنه من خلال إدخال DFT بشكل صريح في التعلم العميق، يمكن لنموذج الشبكة العصبية محاكاة البيئة المادية الحقيقية بشكل أفضل من طرق تدريب البيانات السابقة.

يؤدي إدخال تقنيات التمايز التلقائي والانتشار العكسي إلى تنفيذ DFT للشبكة العصبية رقميًا

وقد اختارت هذه الدراسة الدالة الطاقية E[H] للدراسة المتابعة واعتمدت DeepH-E3 لضمان تباين رسم الخرائط {R} → H في المجموعة الإقليدية ثلاثية الأبعاد.

* DeepH-E3، الجيل الثاني من بنية DeepH التي صممها فريق Xu Yong استنادًا إلى الشبكات العصبية المكافئة. يستخدم هذا الإطار شبكة عصبية متغيرة تحت مجموعة إقليدية ثلاثية الأبعاد للتنبؤ بنظرية هاميلتونيان الكثافة الوظيفية (DFT) المقابلة للبنية الذرية المجهرية، مما يسرع بشكل كبير حساب البنية الإلكترونية للمبادئ الأولى.

على وجه التحديد، وكما هو موضح في الشكل أدناه، تستخدم هذه الدراسة تضمين معلومات بنية المادة كشرط إدخال للشبكة العصبية المتغيرة، ثم تقوم بإخراج مصفوفة هاميلتونيان للحصول على معلمة وزن الشبكة العصبية Hθ. يمكن أيضًا اعتبار الوظيفة الطاقية E[H] بمثابة دالة الخسارة E[Hθ] للشبكة العصبية.

في DFT للشبكة العصبية، يجب أن يوفر برنامج DFT ∇HE لتحسين معلمات الشبكة العصبية، وهو ما يشكل تحديًا كبيرًا لبرمجة DFT.

على الرغم من أن التمايز التلقائي (AD) مناسب تمامًا لحساب ∇HE، إلا أن معظم أكواد DFT الحالية لا تدعم وظيفة AD بشكل كامل. لذلك، قامت هذه الدراسة بتطوير برنامج DFT ذاتي الاستخدام وقابل للتفاضل التلقائي "AI2DFT" باستخدام لغة جوليا. ومن الجدير بالذكر أنه في AI2DFT، يتم تطبيق التمايز التلقائي (AD) على كل من حساب DFT وتدريب الشبكة العصبية.

في DFT، يمكن لـ AI2DFT استنتاج ρ وn من H لحساب الطاقة الإجمالية، ثم استخدام AD في الوضع العكسي لحساب ∇nE و∇ρE و∇HE بالتسلسل بناءً على قاعدة السلسلة. في الشبكات العصبية، يمكن استخدام معلومات التدرج ∇θE لتحسين الشبكة العصبية.

نتائج البحث: تتمتع الشبكة العصبية DFT بموثوقية عالية وأداء ممتاز في دقة التنبؤ

بعد إنشاء الإطار النظري لشبكة DFT العصبية واستكمال التنفيذ العددي باستخدام رمز AI2DFT القابل للتفاضل، أجرت الدراسة اختبارات شاملة على سلسلة من المواد بما في ذلك جزيئات H2O، والجرافين، وطبقة أحادية من MoS2، ومكعب Na مركز الجسم.

على وجه التحديد، فحصت الدراسة أولاً ما إذا كان تكرار SCF لـ AI2DFT يمكنه إعادة إنتاج نتائج المعايير الخاصة برمز SIESTA بشكل جيد، ثم طبقت DFT المتغيرة لدراسة نفس المواد.كما هو موضح في الشكلين أ و ب أدناه، بعد عشرات الخطوات المتغيرة، يمكن للطاقة الكلية أن تتقارب تحت مقياس μeV، كما تظهر كميات فيزيائية أخرى مثل تدرج الطاقة، والهاميلتوني، ومصفوفة الكثافة، وكثافة الشحنة تقاربًا أسيًا، مما يثبت موثوقية ومتانة DFT المتغيرة.

علاوة على ذلك، وكما هو موضح في الشكلين ج ود أعلاه، بالمقارنة مع طرق التعلم الخاضع للإشراف التقليدية القائمة على البيانات، يجمع AI2DFT بين أداء DFT المتغير وشبكة DeepH-E3 العصبية. على سبيل المثال:

* بالنسبة لجزيء H2O، يمكن تحسين هاميلتونيان DFT بواسطة DFT للشبكة العصبية لتحقيق دقة عالية، بدقة 0.06 ميجا فولت لـ DFT للشبكة العصبية و0.02 ميجا فولت لتدريب البيانات.

* بالنسبة للجرافين، حققت كلتا الطريقتين دقة أعلى بلغت 0.004 ميجا إلكترون فولت. وبالتالي تم التحقق من موثوقية طريقة الشبكة العصبية.

* بالإضافة إلى ذلك، من حيث دقة التنبؤ بالطاقة، فإن أداء DFT للشبكة العصبية أفضل بكثير من تدريب البيانات. على سبيل المثال، بالنسبة لجزيء H2O، تصل دقة التنبؤ بالطاقة في الشبكة العصبية DFT إلى 0.013 μeV، وهو أعلى بأكثر من 60 مرة من 0.83 μeV لتدريب البيانات.

وأخيرًا، قامت الدراسة أيضًا بتطبيق DFT للشبكة العصبية لحساب الهياكل المادية المختلفة وأظهرت قدرة التعلم غير الخاضع للإشراف.باستخدام جزيء H2O كمثال، كما هو موضح في الشكل (أ) أدناه، حصلت الدراسة أولاً على نموذج شبكة عصبية مدرب مسبقًا من خلال التعلم الخاضع للإشراف القائم على البيانات استنادًا إلى طريقة DeepH-E3، ثم استخدمت الشبكة العصبية DFT لضبط 300 بنية تدريبية لتحقيق تنبؤات عالية الدقة للكميات الهاميلتونية والكميات الفيزيائية الأخرى.

ولم يقتصر الأمر على ذلك فحسب، بل استخدمت الدراسة أيضًا نموذج الشبكة العصبية المدربة للتنبؤ بـ 435 بنية اختبار لم يتم رؤيتها أثناء عملية التدريب، وأظهرت النتائج أيضًا قدرة جيدة على التعميم، كما هو موضح في الشكلين (ب) و(ج) أعلاه.على الرغم من أن هاميلتونيان الذي تم إنتاجه بواسطة DFT للشبكة العصبية لديه خطأ مطلق متوسط أكبر قليلاً مقارنة بالتعلم الخاضع للإشراف القائم على البيانات، فإنه يظهر أداءً متفوقًا من حيث دقة التنبؤ، مما يعني أن الشبكة العصبية تتعلم المزيد من الأنماط الفيزيائية من خلال عملية DFT للشبكة العصبية.

من خلال التركيز على DFT والحسابات المبدئية، ستقود الذكاء الاصطناعي عصرًا جديدًا من علوم المواد

بقيادة البروفيسور شيو يونج والبروفيسور دوان وينهوي من جامعة تسينغهوا، جمع فريق البحث لي يانغ، وتانغ زيتشن، وتشن زيزو وآخرين. وقد توصلوا إلى سلسلة من النتائج في نظرية الكثافة الوظيفية (DFT) وحسابات المبادئ الأولى. وقد ساهم عملهم في تعزيز التطبيق الواسع النطاق لتكنولوجيا التعلم العميق في أبحاث علوم المواد والفيزياء.

منذ عام 2022، حقق فريق البحث المكون من Xu Yong وDuan Wenhui اختراقات كبيرة في مجال الحوسبة المبدئية.قاموا بتطوير إطار نظري وخوارزمية تعتمد على التعلم العميق - DeepH (Deep DFT Hamiltonian).تستفيد هذه الطريقة بشكل كامل من مبدأ محلية الخصائص الإلكترونية. لا يحتاج الأمر إلا إلى استخدام نموذج تم تدريبه بمجموعة بيانات نظام صغيرة لإعطاء تنبؤات دقيقة في أنظمة المواد واسعة النطاق، مما يحسن بشكل كبير الكفاءة الحسابية للهيكل الإلكتروني للمواد غير المغناطيسية.

وقد تم نشر النتائج ذات الصلة في مجلة Nature Computational Science تحت عنوان "نظرية هاملتونيان الوظيفية للكثافة في التعلم العميق من أجل حساب البنية الإلكترونية الأساسية بكفاءة".
رابط الورقة:
https://www.nature.com/articles/s43588-022-00265-6

في عام 2023، من أجل دراسة اعتماد هاملتوني DFT للمواد المغناطيسية على الذرات والهياكل المغناطيسية بشكل أكبر، اقترح فريق البحث المكون من Xu Yong وDuan Wenhui طريقة xDeepH (DeepH الممتدة).تستخدم هذه الطريقة إطار عمل الشبكة العصبية المتغيرة العميقة لتمثيل هاملتوني DFT للمواد المغناطيسية، وبالتالي إجراء حسابات فعالة للهيكل الإلكتروني. لا يوفر هذا الإنجاز أداة حسابية دقيقة وفعالة لدراسة الهياكل المغناطيسية فحسب، بل يقترح أيضًا مسارًا عمليًا لتحقيق التوازن بين دقة وكفاءة DFT.

وقد نُشرت النتائج ذات الصلة في مجلة Nature Computational Science تحت عنوان "حساب البنية الإلكترونية للتعلم العميق للهياكل الفوقية المغناطيسية".
رابط الورقة:
https://www.nature.com/articles/s43588-023-00424-3

ومن أجل تصميم نماذج الشبكات العصبية التي تتضمن المعرفة المسبقة ومتطلبات التناظر، اقترح الباحثون أيضًا طريقة DeepH-E3.تستطيع هذه الطريقة استخدام كمية صغيرة من بيانات DFT لتدريب الأنظمة الصغيرة الحجم ومن ثم التنبؤ بسرعة بالهيكل الإلكتروني لأنظمة المواد واسعة النطاق. فهو لا يعمل فقط على تحسين سرعة الحوسبة بشكل كبير بعدة أوامر من حيث الحجم، بل يحقق أيضًا معيارًا عاليًا يصل إلى جزء من ملي إلكترون فولت في دقة التنبؤ.

وقد نُشرت النتائج ذات الصلة في مجلة Nature Communications تحت عنوان "الإطار العام لتمثيل الشبكة العصبية المكافئة E (3) لنظرية الكثافة الوظيفية الهاميلتونية".
رابط الورقة:
https://www.nature.com/articles/s41467-023-38468-8

بفضل التحسين المستمر للإطار النظري، نجحت DeepH في تحقيق تغطية شاملة من المواد غير المغناطيسية إلى المواد المغناطيسية، كما حققت أيضًا تحسينات كبيرة في دقة التنبؤ.وفي هذا السياق، استخدم فريق البحث المكون من Xu Yong وDuan Wenhui طريقة DeepH بشكل أكبر لبناء نموذج مادة DeepH العام.النموذج قادر على التعامل مع أنظمة المواد التي تحتوي على عناصر متعددة وهياكل ذرية معقدة، ويظهر دقة ممتازة في التنبؤ بخصائص المواد.

وقد تم نشر نتائج البحث ذات الصلة في مجلة Science Bulletin تحت عنوان "نموذج المواد العالمية لنظرية الكثافة الوظيفية للتعلم العميق هاميلتونيان".
رابط الورقة:
https://doi.org/10.1016/j.scib.2024.06.011

اليوم، قامت مجموعة البحث المكونة من Xu Yong و Duan Wenhui بدمج خوارزمية الشبكة العصبية وخوارزمية DFT بشكل عضوي، مما فتح طريقًا جديدًا لتطوير أساليب DFT للتعلم العميق. ليس هناك شك في أنه مع التقدم المستمر في خوارزميات الشبكات العصبية العميقة وإنشاء مجموعات بيانات أكبر، ستصبح الذكاء الاصطناعي أكثر ذكاءً، ومن المرجح أنه في المستقبل القريب، سيتم إجراء الحسابات الأساسية واكتشاف المواد والتصميم بواسطة الشبكات العصبية. ويشير هذا إلى أن الذكاء الاصطناعي سيقود علم المواد إلى عصر جديد قائم على البيانات.