물질탐사의 새로운 시대! 청화대학교의 쉬융(Xu Yong)과 돤원후이(Duan Wenhui) 연구팀은 전자 구조 예측의 블랙박스를 여는 신경망 밀도 함수 프레임워크를 공개했습니다!

밀도 함수 이론(DFT)은 재료의 특성을 예측하고 설명하는 핵심 도구로서 물리학, 화학, 재료 과학 및 기타 분야에서 없어서는 안 될 역할을 합니다.그러나 기존의 DFT는 일반적으로 많은 컴퓨팅 리소스와 시간을 필요로 하며, 적용 범위가 상당히 제한적입니다.

떠오르는 학제간 분야로서, 딥러닝과 밀도 함수 이론을 결합하여 수많은 계산 시뮬레이션을 통해 새로운 소재를 예측하고 발견하는 방식은 시간이 많이 걸리고 복잡한 기존 DFT 계산의 단점을 점차 극복하고 있으며, 계산 소재 데이터베이스 구축에 큰 응용 잠재력을 가지고 있습니다. 신경망 알고리즘은 대규모 재료 데이터베이스 구축을 가속화하고, 더 큰 데이터 세트로 더욱 강력한 신경망 모델을 훈련할 수 있습니다. 하지만 현재 대부분의 딥러닝 DFT 연구는 DFT 작업과 신경망을 별도로 다루고 있어 두 분야 간의 협력적 개발이 크게 제한됩니다.

신경망 알고리즘과 DFT 알고리즘을 보다 유기적으로 결합하기 위해 청화대학교의 쉬융(Xu Yong)과 돤원후이(Duan Wenhui) 연구진은 신경망 밀도 함수 이론(신경망 DFT) 프레임워크를 제안했습니다.이 프레임워크는 신경망의 손실 함수 최소화와 밀도 함수 이론의 에너지 함수 최적화를 통합합니다. 기존의 지도학습 방법과 비교했을 때 정확도와 효율성이 더 높고, 딥러닝 DFT 방법 개발을 위한 새로운 길을 열었습니다.

이 연구는 "변분 에너지 최소화에 기반한 신경망 밀도 함수 이론"이라는 제목으로 Phys. 지에 게재되었습니다. 목사님

연구 하이라이트:

* 본 연구는 변분밀도함수이론과 등가신경망을 결합하여 신경망 밀도함수이론에 대한 이론적 틀을 제시하였다.

* 본 연구는 Julia 언어를 기반으로 하고 Zygote 자동 미분 프레임워크와 결합하여 AI2DFT라는 컴퓨팅 프로그램을 처음부터 개발했습니다. AI2DFT에서는 변분 DFT 계산과 신경망 학습 모두에 자동 미분(AD)을 사용할 수 있습니다.

서류 주소:
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.133.076401

오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.

https://github.com/hyperai/awesome-ai4s

물리 정보의 비지도 학습을 달성하기 위한 딥러닝과 DFT 통합

Kohn-Sham DFT는 재료 시뮬레이션에서 가장 널리 사용되는 기본 원리 계산 방법입니다.이 방법은 복잡한 전자 상호작용 문제를 효과적인 단일 입자 Kohn-Sham 해밀토니안으로 기술되는 단순화된 비상호작용 전자 문제로 매핑하여 단순화하고, 근사적 교환 상관 함수를 사용하여 복잡한 다체 효과를 고려합니다. 콘-샴 방정식은 변분 원리에서 공식적으로 유도되었고 이론 물리학 분야에서 매우 인기가 있지만, 미분 방정식의 반복적 솔루션이 더 효율적이기 때문에 DFT 계산에는 자주 사용되지 않습니다.

하지만 딥러닝과 DFT가 더욱 통합되면서 이러한 개발 패러다임은 완전히 바뀌었습니다.

딥러닝 DFT에 대한 연구는 주로 데이터 기반의 지도 학습 기술에 의존합니다. 아래 그림 a에서 볼 수 있듯이, 일반적으로 기존의 데이터 기반 지도 학습 방법은 다양한 재료 구조에 대해 DFT SCF 계산을 수행하여 학습 데이터를 생성한 다음, DFT 결과와 유사한 데이터를 예측하는 신경망을 설계하고 학습합니다. 이 과정에서 신경망과 DFT가 분리됩니다.

오늘날, 위 그림 b에서 보인 바와 같이, 신경망 DFT를 기반으로 한 물리 정보의 비지도 학습은 DFT의 에너지 함수 최적화와 신경망의 손실 함수 최소화를 결합하여 신경망 알고리즘과 DFT 알고리즘의 공유 및 협업을 실현합니다.더 중요한 점은 DFT를 딥 러닝에 명시적으로 도입함으로써 신경망 모델이 기존 데이터 학습 방법보다 실제 물리적 환경을 더 잘 시뮬레이션할 수 있다는 것입니다.

자동미분과 역전파 기법을 도입하여 수치적으로 신경망 DFT를 구현합니다.

본 연구에서는 후속 연구를 위해 에너지 함수 E[H]를 선정하고, 3차원 유클리드 군에서 매핑 {R} → H의 공분산을 보장하기 위해 DeepH-E3를 채택하였다.

* DeepH-E3는 Xu Yong 팀이 동등한 신경망을 기반으로 설계한 2세대 DeepH 아키텍처입니다. 이 프레임워크는 3차원 유클리드 군에서 공변 신경망을 사용하여 미시적 원자 구조에 해당하는 밀도 함수 이론(DFT) 해밀토니언을 예측하여 기본 원리 전자 구조 계산을 크게 가속화합니다.

구체적으로, 본 연구에서는 아래 그림과 같이 물질 구조 정보의 임베딩을 등변 신경망의 입력 조건으로 사용하고, 이후 해밀토니안 행렬을 출력하여 Hθ로 매개변수화된 신경망 가중치를 구한다. 에너지 함수 E[H]는 신경망의 손실 함수 E[Hθ]로도 볼 수 있습니다.

신경망 DFT에서 DFT 프로그램은 신경망 매개변수를 최적화하기 위해 ∇HE를 제공해야 하며, 이는 DFT 프로그래밍의 주요 과제입니다.

자동 미분(AD)은 ∇HE를 계산하는 데 적합하지만, 대부분의 현재 DFT 코드는 AD 기능을 완벽하게 지원하지 않습니다. 따라서 본 연구에서는 Julia 언어를 사용하여 자율적이고 사용 가능한 자동 미분 가능 DFT 프로그램 "AI2DFT"를 개발했습니다. AI2DFT에서는 DFT 계산과 신경망 학습 모두에 자동 미분(AD)이 적용된다는 점에 주목할 필요가 있습니다.

DFT에서 AI2DFT는 H에서 ρ와 n을 추론하여 총 에너지를 계산한 다음, 역모드 AD를 사용하여 체인 규칙에 따라 ∇nE, ∇ρE, ∇HE를 순서대로 계산할 수 있습니다. 신경망에서는 그래디언트 정보 ∇θE를 사용하여 신경망 최적화를 수행할 수 있습니다.

연구 결과: 신경망 DFT는 높은 신뢰도와 예측 정확도에서 우수한 성능을 나타냄

본 연구는 신경망 DFT의 이론적 틀을 확립하고 미분 가능한 AI2DFT 코드를 이용하여 수치적 구현을 완료한 후, H2O 분자, 그래핀, 단층 MoS2, 체심입방체 Na 등 다양한 소재에 대한 포괄적인 테스트를 수행했습니다.

구체적으로 이 연구에서는 먼저 AI2DFT의 SCF 반복이 SIESTA 코드의 벤치마크 결과를 잘 재현할 수 있는지 확인한 다음, 변형 DFT를 적용하여 동일한 재료를 연구했습니다.아래 그림 a 및 b에서 볼 수 있듯이, 수십 개의 변분 단계를 거친 후 총 에너지는 μeV 규모 아래로 수렴할 수 있으며, 에너지 기울기, 해밀토니안, 밀도 행렬, 전하 밀도와 같은 다른 물리량도 지수적으로 수렴합니다. 이는 변분 DFT의 신뢰성과 견고성을 검증합니다.

게다가 위의 그림 c와 d에서 볼 수 있듯이, AI2DFT는 기존 데이터 기반 지도 학습 방법과 비교해 변분 DFT와 DeepH-E3 신경망의 성능을 결합한 것입니다. 예를 들어:

* H2O 분자의 경우, DFT 해밀토니안은 신경망 DFT로 최적화되어 높은 정확도를 달성할 수 있으며, 신경망 DFT의 경우 정확도는 0.06 meV, 데이터 학습의 경우 정확도는 0.02 meV입니다.

* 그래핀의 경우 두 방법 모두 0.004 meV의 더 높은 정확도를 달성했습니다. 따라서 신경망 방법의 신뢰성이 검증되었다.

* 또한 에너지 예측 정확도 측면에서도 신경망 DFT의 성능은 데이터 학습보다 상당히 우수합니다. 예를 들어, H2O 분자의 경우 신경망 DFT의 에너지 예측 정확도는 0.013μeV에 도달하는데, 이는 데이터 학습을 통한 0.83μeV보다 60배 이상 높습니다.

마지막으로, 이 연구에서는 신경망 DFT를 다양한 재료 구조 계산에 적용하여 비지도 학습의 능력을 입증했습니다.아래 그림 a에 표시된 H2O 분자를 예로 들면, 이 연구는 먼저 DeepH-E3 방법을 기반으로 한 데이터 기반 지도 학습을 통해 사전 학습된 신경망 모델을 얻은 다음, 신경망 DFT를 사용하여 300개의 학습 구조를 미세 조정하여 해밀토니안 및 기타 물리량에 대한 고정밀 예측을 달성했습니다.

그뿐만 아니라, 이 연구에서는 훈련된 신경망 모델을 사용하여 훈련 과정에서는 보이지 않았던 435개의 테스트 구조를 예측했으며, 그 결과 위의 그림 b와 c에서 볼 수 있듯이 일반화 능력도 우수함을 보였습니다.신경망 DFT로 생성된 해밀토니안은 데이터 기반 지도 학습에 비해 평균 절대 오차가 약간 더 크지만 예측 정확도 측면에서 더 우수한 성능을 보여줍니다. 이는 신경망이 신경망 DFT 프로세스를 통해 더 많은 물리적 패턴을 학습한다는 것을 의미합니다.

DFT와 기본 원리 계산에 초점을 맞춘 AI는 재료 과학의 새로운 시대를 선도할 것입니다.

청화대학교의 쉬융(Xu Yong) 교수와 단원후이(Duan Wenhui) 교수가 이끄는 연구팀은 리양(Li Yang), 탕쩌천(Tang Zechen), 천쩌저우(Chen Zezhou) 등을 한데 모았습니다. 그들은 밀도 함수 이론(DFT)과 기본 원리 계산에서 일련의 결과를 얻었습니다. 그들의 연구는 재료 과학과 물리학 연구에 딥 러닝 기술을 널리 적용하는 데 기여했습니다.

2022년부터 쉬융과 됭원후이 연구팀은 기초 원리 컴퓨팅 분야에서 큰 획기적인 성과를 거두었습니다.그들은 딥러닝을 기반으로 한 이론적 프레임워크와 알고리즘인 DeepH(Deep DFT Hamiltonian)를 개발했습니다.이 방법은 전자적 특성의 국소성 원리를 최대한 활용합니다. 소규모 시스템 데이터 세트로 학습된 모델만 사용하면 대규모 재료 시스템에서 정확한 예측을 제공하고, 비자성 재료의 전자 구조에 대한 계산 효율성을 크게 향상시킬 수 있습니다.

관련 결과는 "효율적인 ab initio 전자 구조 계산을 위한 딥러닝 밀도 함수 이론 해밀토니언"이라는 제목으로 Nature Computational Science에 게재되었습니다.
논문 링크:
https://www.nature.com/articles/s43588-022-00265-6

2023년, 자성체의 DFT 해밀토니언이 원자와 자기 구조에 미치는 영향을 더욱 심도 있게 연구하기 위해 쉬용(Xu Yong)과 됭원후이(Duan Wenhui) 연구팀은 xDeepH(확장 DeepH) 방법을 제안했습니다.이 방법은 심층 등가 신경망 프레임워크를 사용하여 자성 물질의 DFT 해밀토니언을 표현하고, 이를 통해 효율적인 전자 구조 계산을 수행합니다. 이번 성과는 자기 구조 연구를 위한 효율적이고 정확한 계산 도구를 제공할 뿐만 아니라, DFT의 정확도와 효율성을 균형 있게 조절할 수 있는 실행 가능한 경로를 제안합니다.

관련 결과는 "자기 초구조의 딥러닝 전자 구조 계산"이라는 제목으로 Nature Computational Science에 게재되었습니다.
논문 링크:
https://www.nature.com/articles/s43588-023-00424-3

연구진은 사전 지식과 대칭성 요구 사항을 포함하는 신경망 모델을 설계하기 위해 DeepH-E3 방법을 제안했습니다.이 방법은 소량의 DFT 데이터를 사용하여 소규모 시스템을 학습시킨 다음 대규모 재료 시스템의 전자 구조를 빠르게 예측할 수 있습니다. 이는 컴퓨팅 속도를 몇 배나 향상시킬 뿐만 아니라 예측 정확도도 밀리전자볼트 미만의 높은 기준을 달성합니다.

관련 결과는 "밀도 함수 이론 해밀토니안의 E(3)-등가 신경망 표현을 위한 일반 프레임워크"라는 제목으로 Nature Communications에 게재되었습니다.
논문 링크:
https://www.nature.com/articles/s41467-023-38468-8

DeepH는 이론적 프레임워크의 지속적인 최적화를 통해 비자성체에서 자성체까지 포괄적인 적용 범위를 달성했으며, 예측 정확도도 크게 향상되었습니다.이러한 맥락에서, 쉬용(Xu Yong)과 단원후이(Duan Wenhui) 연구팀은 DeepH 방법을 더욱 활용하여 DeepH 일반 재료 모델을 구축했습니다.이 모델은 여러 원소와 복잡한 원자 구조를 포함하는 물질 시스템을 처리할 수 있으며, 물질 특성을 예측하는 데 탁월한 정확성을 보여줍니다.

관련 연구 결과는 "딥러닝 밀도 함수 이론 해밀토니안의 범용 재료 모델"이라는 제목으로 Science Bulletin에 게재되었습니다.
논문 링크:
https://doi.org/10.1016/j.scib.2024.06.011

오늘날, 쉬융(Xu Yong)과 단원후이(Duan Wenhui) 연구진은 신경망 알고리즘과 DFT 알고리즘을 유기적으로 결합하여 딥러닝 DFT 방법 개발을 위한 새로운 길을 열었습니다. 딥 뉴럴 네트워크 알고리즘이 지속적으로 발전하고 더 큰 데이터 세트가 구축됨에 따라 AI가 더욱 스마트해질 것이라는 점에는 의심의 여지가 없으며, 가까운 미래에는 기본 원리 계산, 재료 발견 및 설계가 모두 뉴럴 네트워크에 의해 수행될 가능성이 높습니다. 이는 AI가 재료과학을 새로운 데이터 중심 시대로 이끌 것임을 시사합니다.