Les Réseaux Neuronaux Remplacent La Théorie De La Fonctionnelle De La Densité ! Le Groupe De Recherche Tsinghua Publie Le Modèle De Matériau Universel DeepH, Permettant Une Prédiction Ultra-précise

Dans la conception des matériaux, la compréhension de leur structure électronique et de leurs propriétés est la clé pour prédire les performances des matériaux, découvrir de nouveaux matériaux et optimiser leurs performances. passé,La théorie de la fonctionnelle de la densité (DFT) est largement utilisée dans l’industrie pour étudier la structure électronique et les propriétés des matériaux. Son essence est d’utiliser la densité électronique comme vecteur de toutes les informations dans l’état fondamental des molécules (atomes).Au lieu de la fonction d'onde d'un seul électron, le système multi-électrons est converti en un problème à un seul électron pour la solution, ce qui non seulement simplifie le processus de calcul, mais garantit également la précision du calcul et peut refléter plus précisément la distribution d'ouverture.

Cependant, la DFT est coûteuse en termes de calcul et ne peut généralement être utilisée que pour étudier des systèmes de matériaux à petite échelle. Inspirés par la Materials Genome Initiative, les scientifiques ont commencé à essayer d'utiliser la DFT pour créer une énorme base de données de matériaux. Même si seuls des ensembles de données limités ont été collectés jusqu’à présent, il s’agit déjà d’un début remarquable. Avec cela comme point de départ, alors que la technologie de l'IA apporte de nouveaux changements, les chercheurs ont commencé à se demander : « La combinaison de l'apprentissage profond avec la DFT et le fait de permettre aux réseaux neuronaux d'apprendre en profondeur l'essence de la DFT peuvent-ils entraîner une avancée révolutionnaire ? »

Il s’agit du cœur de la méthode hamiltonienne de la théorie fonctionnelle de la densité de l’apprentissage profond (DeepH).En encapsulant la complexité de la DFT dans un réseau neuronal, DeepH est non seulement capable d'effectuer des calculs avec une vitesse et une efficacité sans précédent, mais son intelligence continue également de s'améliorer à mesure que davantage de données de formation sont ajoutées.Récemment, le groupe de recherche de Xu Yong et Duan Wenhui du département de physique de l'université Tsinghua a utilisé avec succès sa méthode originale DeepH pour développer le modèle de matériau universel DeepH et a démontré une solution réalisable pour construire un « grand modèle de matériau ». Cette avancée offre de nouvelles opportunités de découverte de matériaux innovants.

La recherche connexe, intitulée « Modèle de matériaux universels de la théorie fonctionnelle de la densité d'apprentissage profond Hamiltonien », a été publiée dans Science Bulletin.

Adresse du document :
https://doi.org/10.1016/j.scib.2024.06.011

Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :
https://github.com/hyperai/awesome-ai4s

Créez une grande base de données de matériaux via AiiDA pour éliminer les interférences magnétiques des matériaux

Pour démontrer l'universalité du modèle de matériaux général DeepH, cette étude a construit une grande base de données de matériaux contenant 104 matériaux solides via l'infrastructure interactive automatique et la base de données (AiiDA).

Pour mettre en valeur la diversité de la composition élémentaire, l’étude a également sélectionné les quatre premières lignes du tableau périodique, excluant ainsi les éléments de transition de Sc à Ni pour éviter les interférences des matériaux magnétiques et excluant les éléments de gaz rares. Les structures matérielles candidates proviennent de la base de données du projet Matériaux. En plus du filtrage basé sur le type d'élément, les matériaux candidats sont encore affinés dans la colonne Matériaux pour inclure uniquement ceux marqués « non magnétiques ». Pour simplifier, les structures contenant plus de 150 atomes dans la cellule unitaire ont été exclues.

Grâce à ces critères de filtrage, l’ensemble final de données sur les matériaux comprenait un total de 12 062 structures. Au cours du processus de formation, l'ensemble de données est divisé en un ensemble de formation, un ensemble de validation et un ensemble de test dans un rapport de 6:2:2. Suivant,L'étude a utilisé le cadre AiiDA (Automated Interactive Infrastructure and Database) pour développer un flux de travail à haut débit pour les calculs de théorie fonctionnelle de la densité et l'a utilisé pour créer une base de données de matériaux.

En utilisant l'hamiltonien DFT comme cible, DeepH est formé à l'aide de la méthode DeepH-2.

Les recherches suggèrent queL'hamiltonien DFT est une cible idéale pour l'apprentissage automatique.

d'abord,L'hamiltonien DFT est une quantité fondamentale qui peut être directement dérivée de quantités physiques telles que l'énergie totale, la densité de charge, la structure de bande et les réponses physiques.Le modèle de matériau général DeepH peut accepter n'importe quelle structure de matériau en entrée et générer l'hamiltonien DFT correspondant, de sorte que diverses propriétés de matériau peuvent être directement dérivées, comme illustré dans la figure ci-dessus.

Deuxièmement,Dans le cas d'un ensemble de base atomique localisé, l'hamiltonien DFT peut être représenté comme une matrice creuse dont les éléments sont déterminés par l'environnement chimique local.Dans les réseaux neuronaux équivariants, DeepH utilise des fonctionnalités de sortie étiquetées avec différents nombres quantiques angulaires l pour représenter l'hamiltonien DFT, comme illustré dans la figure ci-dessus. Par conséquent, on peut modéliser les éléments de la matrice hamiltonienne entre les paires atomiques en fonction des informations structurelles voisines sans avoir à modéliser la matrice hamiltonienne DFT de la structure matérielle entière. Cela simplifie non seulement considérablement la tâche d’apprentissage en profondeur, mais augmente également considérablement la quantité de données de formation. En termes d’inférence, une fois que le réseau d’apprentissage profond a appris suffisamment de données de formation, le modèle formé peut être bien généralisé à davantage de nouvelles structures matérielles qui n’ont pas été vues.

L'idée clé de DeepH est d'utiliser des réseaux neuronaux pour représenter HDFT.En faisant varier la structure du matériau d'entrée, les données d'entraînement HDFT générées par le code DFT sont d'abord créées, qui sont ensuite utilisées pour entraîner le réseau neuronal. Ces modèles de réseau formés sont ensuite utilisés pour déduire de nouvelles structures matérielles.

Dans ce processus, il existe deux connaissances préalables très importantes : l’une est le principe de localité,Cette étude représente l'hamiltonien DFT dans un échantillon atomique localisé et décompose l'hamiltonien en blocs décrivant soit des couplages interatomiques, soit des couplages intraatomiques. Par conséquent, une structure de matériel de formation unique peut correspondre à un bloc hamiltonien pour un grand nombre de données. De plus, chaque bloc hamiltonien peut être déterminé sur la base d’informations sur la structure locale plutôt que sur la structure entière. Cette simplification garantit la grande précision et la transférabilité du modèle DeepH.

Le deuxième est le principe de symétrie.Les lois de la physique restent les mêmes lorsqu’elles sont observées à partir de différents systèmes de coordonnées. Par conséquent, les quantités physiques et les équations correspondantes montrent une équivalence sous transformation de coordonnées. Le maintien de l’équivalence améliore non seulement l’efficacité des données, mais améliore également la capacité de généralisation, ce qui peut améliorer considérablement les performances de DeepH. L'architecture DeepH de première génération simplifie le problème d'équivalence grâce à un système de coordonnées locales et restaure les caractéristiques équivalentes grâce à la transformation des coordonnées locales. L'architecture DeepH de deuxième génération est basée sur un réseau neuronal équivalent et est nommée DeepH-E3. Dans ce cadre, les vecteurs de caractéristiques de toutes les couches d’entrée, cachées et de sortie sont des vecteurs équivalents. Récemment, l’un des auteurs de ce travail a proposé une architecture de nouvelle génération pour l’apprentissage profond, DeepH-2. En termes d’efficacité et de précision, DeepH-2 est le plus performant.

En résumé, le modèle d’apprentissage profond DeepH de cette étude a été formé à l’aide de la méthode DeepH-2, contenant un total de 17,28 millions de paramètres. Il a formé un réseau neuronal qui peut être utilisé pour la transmission de messages sur la base de 3 blocs de transformation équivalents, et chaque nœud et bord transportait 80 fonctionnalités équivalentes.La structure du matériau est intégrée avec le numéro atomique et la distance interatomique, et une stratégie de lissage gaussien est adoptée, avec la plage centrale des fonctions de base de 0,0 à 9,0 Å. Les caractéristiques de sortie du réseau neuronal sont transmises à travers la couche linéaire, puis l'hamiltonien DFT est construit à travers la couche Wigner-Eckart.

L'étude a été formée sur des GPU NVIDIA A100 pendant 343 époques et 207 heures. Pendant tout le processus de formation, la taille du lot est fixée à 1, ce qui signifie que chaque lot contient une structure matérielle. Enfin, le taux d'apprentissage initial est de 4×10-4, le taux de décroissance est de 0,5, la patience de décroissance est de 20, le taux d'apprentissage minimum sélectionné est de 1×10-5 et la formation est arrêtée lorsque le taux d'apprentissage atteint cette valeur.

DeepH a d'excellentes performances d'inférence et peut fournir des prédictions précises de la structure de bande

Les erreurs absolues moyennes (MAE) des éléments de la matrice hamiltonienne de la théorie fonctionnelle de la densité prédits par le modèle sur les ensembles d'entraînement, de validation et de test étaient respectivement de 1,45, 2,35 et 2,20 meV.Cela démontre la capacité du modèle à raisonner sur des structures invisibles.

Lors de l'évaluation des performances d'un modèle de matériau général formé par la méthode Deep-2 à l'aide d'une grande base de données de matériaux de 104 matériaux solides, environ 80 % des structures de matériaux présentaient une erreur absolue moyenne inférieure à la moyenne (2,2 meV) parmi toutes les structures de l'ensemble de données. Seules 34 structures (environ 1,4 % de l’ensemble de tests) présentent une erreur absolue moyenne de plus de 10 meV, ce qui indique que le modèle a une bonne précision de prédiction pour les structures principales.

En analysant plus en détail l’ensemble de données, l’écart dans les performances du modèle sur la structure du matériau peut être dû à l’écart dans la distribution de l’ensemble de données.L’étude a révélé que plus il y avait de structures d’entraînement de paires d’éléments contenues dans l’ensemble de données, plus l’erreur absolue moyenne correspondante était faible. Ce phénomène peut indiquer qu'il existe une « loi d'échelle » dans les modèles de matériaux généraux d'apprentissage en profondeur, c'est-à-dire que des ensembles de données d'entraînement plus volumineux peuvent améliorer les performances du modèle.

Afin d'évaluer la précision du modèle général de matériau DeepH dans la prédiction des propriétés des matériaux, cette étude a utilisé des hamiltoniens DFT basés sur la théorie de la fonctionnelle de la densité (DFT) et prédits par DeepH dans le calcul d'exemples, puis a comparé les résultats de calcul obtenus par ces deux méthodes. Les résultats montrent queLes résultats prédits par DeepH sont très proches de ceux calculés par DFT, démontrant l'excellente précision prédictive de DeepH dans le calcul des propriétés des matériaux.

Dans une application spécifique, l’étude a examiné les allotropes de carbone à l’aide d’un modèle de matériau général affiné. Parmi eux, l'ensemble de données sur les matériaux carbonés provient de la base de données Samara Carbon Allotrope Database (SACADA), qui contient un total de 427 allotropes de carbone avec différentes structures atomiques.

Sur cette base, les chercheurs ont affiné le modèle général des matériaux et créé un modèle DeepH amélioré spécifiquement pour les matériaux en carbone. Par rapport au modèle sans pré-formation, le réglage fin peut réduire considérablement l'erreur absolue moyenne de l'hamiltonien DFT prédit à 0,54 meV, et peut également atteindre une précision de prédiction comparable dans les structures de formation avec moins de 50%.

De plus, le réglage fin améliore considérablement la convergence de la formation et réduit le temps de formation. On peut dire que le réglage fin contribue à améliorer la précision des prédictions et à renforcer l’efficacité de la formation. Plus important encore,Le modèle DeepH affiné a montré des avantages significatifs dans la prédiction des propriétés des matériaux. Le modèle affiné peut fournir des prédictions précises de la structure de bande pour presque toutes les structures testées.

Le modèle matériel est en plein essor, l'IA4S a encore un long chemin à parcourir

Avec ChatGPT comme point de départ, l’IA est officiellement entrée dans une nouvelle « ère des grands modèles ». Cette époque se caractérise par l’utilisation d’énormes ensembles de données et d’algorithmes avancés pour former des modèles d’apprentissage en profondeur capables de gérer des tâches complexes.Dans le domaine de la science des matériaux, ces grands modèles se combinent à la sagesse des chercheurs pour inaugurer une nouvelle ère de recherche sans précédent.Ces grands modèles peuvent non seulement traiter et analyser des quantités massives de données scientifiques, mais également prédire les propriétés et le comportement des matériaux, accélérant ainsi la découverte et le développement de nouveaux matériaux et orientant ce domaine vers une direction plus efficace et plus précise.

Au cours de la dernière période, l’IA pour la science est entrée en collision constante avec la science des matériaux pour créer de nouvelles étincelles.

Basé en Chine,Le groupe SF10 du Centre national de recherche de Pékin pour la physique de la matière condensée, l'Institut de physique de l'Académie chinoise des sciences et le Centre d'information sur les réseaux informatiques de l'Académie chinoise des sciences ont travaillé ensemble pour alimenter des dizaines de milliers de données sur les chemins de synthèse chimique du grand modèle LLAMA2-7b, obtenant ainsi le modèle MatChat, qui peut être utilisé pour prédire le chemin de synthèse des matériaux inorganiques ; l'Université des sciences et technologies électroniques de Chine, en collaboration avec l'Université Fudan et l'Institut de technologie et d'ingénierie des matériaux de Ningbo de l'Académie chinoise des sciences, a développé avec succès des « matériaux ferroélectriques résistants à la fatigue », prenant ainsi la tête du monde pour surmonter le problème de fatigue des matériaux ferroélectriques qui a tourmenté le domaine pendant plus de 70 ans ; Le laboratoire AIMS de l'Université Jiao Tong de Shanghai a développé une nouvelle génération de modèle de conception de matériaux intelligents Alpha Mat. … Les résultats de la recherche émergent fréquemment et l’innovation et la découverte de matériaux sont entrées dans une nouvelle ère.

En regardant autour du monde,DeepMind de Google a développé GNoME, un modèle d'apprentissage par renforcement de l'intelligence artificielle pour la science des matériaux, qui a trouvé plus de 380 000 matériaux cristallins thermodynamiquement stables, ce qui équivaut à « ajouter 800 ans d'accumulation intellectuelle à l'humanité », accélérant considérablement la vitesse de recherche pour la découverte de nouveaux matériaux ; MatterGen de Microsoft, un modèle de génération d'intelligence artificielle dans le domaine de la science des matériaux, peut prédire la structure de nouveaux matériaux à la demande en fonction des propriétés matérielles requises ; Meta AI a coopéré avec des universités américaines pour développer le meilleur ensemble de données sur les matériaux catalytiques de l'industrie, Open Catalyst Project, et l'ensemble de données d'adsorption sur les structures métalliques organiques OpenDAC... Les géants de la technologie ont bouleversé le domaine de la science des matériaux avec leurs propres technologies.

Bien que comparée aux méthodes traditionnelles de recherche et de développement de matériaux, l’intelligence artificielle ouvre la porte à l’exploration d’une gamme plus large de possibilités de matériaux et réduit considérablement le temps et les coûts associés à la découverte de matériaux. Cependant, l’IA pour la science est toujours confrontée à des défis en termes de crédibilité et de mise en œuvre efficace dans le domaine des matériaux, notamment pour garantir la qualité des données et identifier et atténuer les biais potentiels dans les données utilisées pour former les systèmes d’IA. Cela signifie peut-être également qu’il reste encore un long chemin à parcourir avant que l’intelligence artificielle puisse jouer un rôle plus important dans le domaine de la science des matériaux.