반도체 소재부터 활성 약물 분자에 이르기까지, 전자 구조는 성능을 이해하는 데 핵심적인 요소입니다. 양자 역학에 기반한 제일원리 계산은 물질의 구조, 안정성 및 기능을 정확하게 예측할 수 있으며, 소재 설계 및 신약 개발에 있어 빠른 발전을 이끌어 왔습니다. 그러나 시스템 규모가 커질수록 계산 복잡성은 급격히 증가합니다.최첨단 슈퍼컴퓨터조차도 단백질 접힘이나 촉매 반응과 같은 복잡한 과정을 장시간에 걸쳐 시뮬레이션하는 데 어려움을 겪습니다.이로 인해 "메커니즘은 설명할 수 있지만 계산하기는 어렵다"는 상황이 발생했습니다.

기존 방법들이 계산상의 한계에 다다르면서, 머신러닝은 원자 규모 시뮬레이션을 위한 새로운 길을 제시합니다. 양자역학 데이터를 기반으로 학습된 원자 간 포텐셜의 머신러닝은 복잡한 전자 구조를 효율적인 예측 모델로 변환하여, 계산 비용을 수백 배 줄이면서도 제1원리 계산에 가까운 정확도를 유지합니다. 지난 20년간 머신러닝은 고온 합금이나 생체 고분자와 같은 시스템에서 상당한 이점을 보여주었으며, 경험적 힘장의 불충분한 정확도와 제1원리 계산 방법의 지나치게 높은 비용이라는 단점을 극복해 왔습니다. 그러나,초기 모델들은 대부분 단일 시스템용으로 설계되었기 때문에 훈련 데이터를 반복적으로 생성하고 매개변수를 재조정해야 했고, 이로 인해 시스템 간 연구가 상당히 어려웠습니다.

따라서 일반화는 향후 발전을 위한 핵심 방향이 되었습니다. 최근에는 다양한 원소와 화학적 환경에 적용 가능한 여러 일반 모델들이 등장했습니다.하지만 훈련 데이터 부족과 일관성 없는 평가 기준으로 인해 전반적인 성능이 불안정합니다.
이러한 배경 속에서 스위스 로잔 연방 공과대학(EPFL)에서 제안한 PET-MAD 모델은 새로운 사례를 제시합니다.다양한 원자 다양성을 포괄하는 데이터 세트와 포인트 에지 트랜스포머(Point Edge Transformer) 기반의 네트워크 아키텍처를 활용하여, 기존 모델보다 훨씬 적은 훈련 샘플을 사용하면서도 PET-Bespoke 전용 모델과 유사한 정확도를 달성합니다.이는 원자 시뮬레이션이 더욱 효율적이고 폭넓게 적용될 수 있도록 발전시켜 나가는 데 있어 강력한 사례를 제공합니다.
"첨단 소재 모델링을 위한 경량 범용 원자간 포텐셜로서의 PET-MAD"라는 제목의 관련 연구 결과는 Nature Communications에 게재되었습니다.

서류 주소:
https://www.nature.com/articles/s41467-025-65662-7
저희 공식 위챗 계정을 팔로우하고 백그라운드에서 "PET-MAD"라고 답장하시면 전체 PDF 파일을 받으실 수 있습니다.

더 많은 AI 프런티어 논문:
https://hyper.ai/papers

MAD 데이터셋: 85개의 요소와 약 10만 개의 구조를 포함합니다.

MAD 데이터셋은 광범위한 화학적 다양성, 엄격한 데이터 일관성 및 우수한 사용성을 특징으로 하며, 일반 기계 학습에서 원자 간 포텐셜(MLIP) 학습을 위한 고품질 데이터 기반을 제공하기 위해 구축되었습니다.이 물질은 원자 번호가 1부터 86까지인 85개의 원소(아스타틴 제외)로 구성되어 있으며, 총 95,595개의 구조를 가지고 있습니다.화학적 및 구조적 특성에 따라 8개의 하위 범주로 체계적으로 나뉘며, 광범위하게는 벌크 결정, 표면, 클러스터, 2차원 물질 및 분자 시스템을 포괄합니다.
데이터 세트의 핵심은 Materials Cloud 3D 데이터베이스의 하위 집합, 특히 MC3D 하위 집합에서 가져온 것입니다.이 데이터셋에는 33,596개의 개별 상 결정 구조가 포함되어 있습니다. 이를 기반으로, 원자 좌표에 가우시안 노이즈를 가하여 MC3D-rattled 서브셋(30,044개 구조)을 생성했고, 결정 내 원자 종류를 무작위로 재배열하여 MC3D-random 서브셋(2,800개 구조)을 구성했습니다. 두 서브셋 모두 극단적이거나 비평형 왜곡 구조를 더 잘 포함하도록 특별히 설계되었습니다.
표면 및 저차원 시스템의 시뮬레이션 요구 사항을 충족하기 위해, 본 데이터 세트에는 벌크 상 절단에서 얻은 MC3D-surface 하위 집합(저지수 결정면 모델 5,589개)과 MC3D-cluster 하위 집합(나노클러스터 9,071개)이 포함되어 있으며, MC2D 하위 집합(2차원 결정 2,676개)은 Materials Cloud 2D 데이터베이스에서 가져왔습니다. 분자 시스템의 경우, SHIFTML-molcrys(분자 결정 8,578개)와 SHIFTML-molfrags(분자 조각 3,241개)의 두 가지 하위 집합이 지원되며, 이 모든 하위 집합은 신뢰할 수 있는 데이터베이스에서 가져와 샘플의 신뢰성을 보장합니다.
데이터 생성 전략과 관련하여,MAD는 직접적인 재사용과 구조적 변형을 결합하여 사용합니다. MC3D, MC2D, SHIFTML-molcrys, SHIFTML-molfrags의 네 가지 하위 집합은 공개된 구조를 직접 활용하지만 동일한 DFT 매개변수를 사용하여 에너지와 힘을 재계산함으로써 서로 다른 출처 간의 체계적인 편향을 근본적으로 제거합니다. 나머지 하위 집합은 기본 구조에 물리적 변형(예: 노이즈 추가, 원자 재배열, 표면 절단)을 가하여 구성의 다양성을 방향적으로 확장합니다.

PET-MAD: 범용 원자간 전위 모델의 아키텍처 및 성능 주요 특징

PET-MAD 모델은 파레토 프론티어에 의해 최적화된 아키텍처를 기반으로 학습되었습니다.이 아키텍처는 각각 두 개의 트랜스포머 서브레이어를 갖춘 두 개의 메시지 전달 레이어로 구성되며, 256차원 토큰 표현, 8개의 헤드를 가진 멀티헤드 어텐션 메커니즘을 사용하고, 최종적으로 512개의 뉴런을 가진 완전 연결 레이어를 통해 결과를 출력합니다.훈련 과정의 안정성을 향상시키기 위해, 정식 훈련에 앞서 시스템은 선형 모델을 적합시키고 원자 구성과 관련된 에너지의 기준선 기여도를 제거합니다.
전체 학습은 Metatrain 패키지를 사용하여 PyTorch 프레임워크 내에서 수행되었습니다. 계산 작업은 8개의 NVIDIA H100 GPU에 분산되었으며, GPU당 배치 크기는 24개 아키텍처였습니다. 총 1,500 에포크의 학습이 진행되었으며, 소요 시간은 약 40시간이었습니다. 최적화 과정에는 Adam 옵티마이저가 사용되었고, 초기 학습률은 10⁻⁴이었으며, 250 에포크마다 절반으로 감소시켰습니다. 손실 함수는 에너지 및 힘 예측의 제곱평균오차(RMSE)로 구성되었으며, 에너지 항의 가중치는 0.1로 설정했습니다.

훈련 후, 모델은 훈련 세트에서 에너지에 대해 평균 절대 오차 7.3 meV/atom, 힘에 대해 43.2 meV/Å를 달성했고, 검증 세트에서는 에너지에 대해 14.7 meV/atom, 힘에 대해 172.2 meV/Å를 달성하여 뛰어난 적합 정확도를 보여주었습니다.
일반 모델이 특정 화학 시스템에 더 잘 적응할 수 있도록 하기 위해,PET-MAD는 저차 적응(LoRA) 미세 조정 기술을 도입했습니다.기존의 모든 매개변수를 사용하는 미세 조정 방식은 "파괴적 망각"(즉, 기존의 일반 지식 손실)으로 이어지기 쉬운 반면, LoRA는 기본 모델의 모든 가중치를 고정하고 각 어텐션 모듈에 학습 가능한 저랭크 행렬 쌍 두 개만 주입한 후 스케일링 매개변수를 통해 그 영향력을 조정함으로써 "일반성을 잃지 않고 정밀한 개선"을 달성합니다. 본 연구에서는 LoRA의 랭크를 8로 고정하고 스케일링 매개변수를 0.5로 설정했습니다.
실험 결과데이터가 제한적인 시나리오에서 LoRA로 미세 조정된 모델은 이 시스템을 위해 처음부터 학습된 전용 모델보다 일관되게 우수한 성능을 보입니다.바륨 티타네이트와 같은 복잡한 시스템에서도 정밀하게 조정된 모델은 일반적인 정확도를 유지하면서 전용 모델과 유사한 물리적 관측값을 생성할 수 있으므로 특정 응용 분야에 대한 최적화 방안으로 권장됩니다.
범용 모델의 경우, 신뢰할 수 있는 오차 추정은 매우 중요합니다. PET-MAD는 마지막 레이어 예측 강성(LLPR) 방법을 통해 불확실성을 정량화합니다. 이 방법은 모델의 마지막 레이어 은닉 특징의 훈련 데이터셋에 대한 공분산을 분석하여 새로운 예측의 사후 오차를 추정하며, 추가적인 계산 비용이 거의 발생하지 않습니다. 더욱 중요한 점은 LLPR을 통해 유한한 개수의 마지막 레이어 가중치를 샘플링하여 경량의 "얕은 앙상블"을 구성할 수 있다는 것입니다. 따라서 불확실성을 자유 에너지 및 포논 분산 곡선과 같은 복잡한 파생량 계산으로 이전할 수 있습니다. 이 방법은 기존 앙상블 방법보다 계산 비용이 훨씬 낮아 대규모 원자 시뮬레이션의 실제 요구 사항에 매우 적합합니다.
또한,PET-MAD는 두 가지 힘 예측 모드를 제공합니다. 하나는 에너지 분석으로부터 힘을 추론하기 위해 자동 미분(역전파)을 사용하는 모드로, 에너지 보존 법칙을 엄격하게 만족합니다. 다른 하나는 별도의 신경망 모듈을 통해 원자 좌표로부터 힘을 직접 예측하는 모드로, 추론 속도를 2~3배 향상시킬 수 있지만 약간의 에너지 비보존이 발생할 수 있습니다.연구팀은 전용 다중 시간 단계 적분기를 설계함으로써 후자의 모드에서 발생할 수 있는 샘플링 오류를 효과적으로 방지하여 계산 효율성과 동적 시뮬레이션의 신뢰성을 모두 확보했습니다.

벤치마크 및 실질적 이점 모두: 최소한의 독점 데이터로 전용 모델 수준의 정확도를 달성합니다.

PET-MAD의 성능을 종합적으로 평가하기 위해 연구팀은 먼저 Matbench Discovery와 같은 권위 있는 벤치마크 테스트에서 MACE-MP-0 및 Orb-v2와 같은 주류 모델 시스템과 비교했습니다. 공정성을 확보하기 위해 연구진은 계산 방법의 차이로 인한 편향을 제거하기 위해 PET-MAD와 호환되는 DFT 매개변수를 사용하여 벤치마크 하위 집합을 재계산했습니다.

시험 결과는 아래 표에 나와 있습니다.10만 개 미만의 구조(유사 모델보다 1~3배 적은 데이터)와 280만 개의 적당한 매개변수(Orb-v2의 2,500만 개 및 MACE-MP-0-L의 1,580만 개보다 훨씬 적음)로 학습된 PET-MAD는 분자 데이터 세트(SPICE, MD22)에서 모든 유사 모델보다 뛰어난 성능을 보입니다.이 모델은 무기물 데이터 세트에서 MatterSim-5M과 같은 최첨단 모델과 비교할 만하며, 특히 왜곡이 심한 데이터 세트에서 그 장점이 더욱 두드러집니다. 일부 모델의 경우 MatterSim-5M보다 최대 50배 낮은 오차율을 보이기도 합니다.

하지만 벤치마크 테스트만으로는 복잡한 시나리오에서 모델의 신뢰성을 완벽하게 검증하기에 불충분합니다. 따라서 연구팀은 PET-MAD, LoRA 미세 조정 모델, 그리고 PET-Bespoke 전용 모델의 성능을 비교하기 위해 다양하고 까다로운 6가지 응용 사례를 선정했습니다.

1. 고체 전해질: 티오인산리튬(LPS)

본 연구는 이온 전도도라는 핵심 성능 특성에 초점을 맞추었습니다. 아래 그림에서 볼 수 있듯이, 에너지 및 힘 측면에서 PET-MAD의 검증 오차(4.9 meV/원자, 163.9 meV/Å)는 PET-Bespoke 전용 모델(1.2 meV/원자, 35.6 meV/Å)보다 높지만,하지만 이를 기반으로 한 분자 동역학 시뮬레이션에서 예측된 전도도는 넓은 온도 범위에 걸쳐 PET-Bespoke 전용 모델 및 미세 조정 모델의 결과와 매우 잘 일치합니다.이 모델은 구조적 특징(PS₄ 사면체 회전)이 이온 수송에 미치는 영향을 정확하게 포착했으며, γ상의 상전이 온도를 약간 과대평가하는 경향만 보였다.

2. 반도체 재료: 갈륨비소(GaAs)

계면 고정법을 이용하여 융점을 계산한 결과는 아래 그림에 나타나 있습니다. LoRA로 보정된 PET-MAD는 PET-Bespoke 전용 모델의 예측 결과(1169±3 K 대 1169±4 K)와 완벽하게 일치합니다.

사전 학습된 일반 모델의 예측값(1111±72 K)은 약간 낮지만, 그 오차는 DFT 함수 자체의 실험값(1511 K)과의 고유한 편차보다 훨씬 작습니다.이 사례는 PET-MAD에 내장된 LLPR 불확실성 정량화 기능의 가치를 잘 보여줍니다. 이 기능은 저렴한 비용으로 오류를 평가하고 전달하여 결과의 신뢰성에 대한 기준을 제공할 수 있습니다.

3. 고엔트로피 합금: CoCrFeMnNi

표면 원소 분리 거동과 관련하여, 아래 그림에서 볼 수 있듯이 사전 학습된 PET-MAD는 이 시스템에 대한 특별한 학습 없이도 "니켈이 풍부한 표면과 다른 원소가 부족한 표면"의 분리 특성을 정확하게 재현할 수 있으며, 이는 참고 연구 결과와 정량적으로 일치함을 확인했습니다.

에너지 오차(25.8 meV/원자)는 PET-Bespoke 전용 모델(14.6 meV/원자)보다 높지만,하지만 후자는 제한된 훈련 데이터(2000개의 구조만 해당)로 인해 과적합될 위험이 있는 반면, PET-MAD는 더 나은 견고성을 보여줍니다.

4. 액체 물과 양자 핵 효과

경로 적분 분자 동역학 시뮬레이션을 통해 PET-MAD는 수소 원자 양자 요동으로 인한 구조적 질서화 및 양성자 비편재화 현상을 성공적으로 규명했습니다. 학습된 GGA 함수의 정확도에 한계가 있지만, 시뮬레이션 시스템은 상온에서 "과냉각 액체" 특성을 나타내며, 방사형 분포 함수와 열용량 계산에서 우수한 성능을 보였습니다.이 결과는 PET-Bespoke 전용 모델과 매우 일관성이 있으며, 그 효율성 덕분에 이처럼 계산 집약적인 양자 시뮬레이션이 더욱 실현 가능해졌습니다.

5. 분자 결정: 숙신산의 NMR 연구

PET-MAD 기반 동역학 시뮬레이션과 화학적 차폐 모델을 결합하여 핵 양자 운동이 ¹H NMR 차폐 상수 분포에 미치는 영향을 성공적으로 밝혀냈습니다. 아래 그림에서 볼 수 있듯이, 수소 결합된 양성자의 차폐 분포는 양자 샘플링 조건에서 크게 넓어지고 아래쪽으로 이동합니다.이는 고정밀 DFT로 학습된 PET-Bespoke 전용 모델의 결론과 일치하며, 복잡한 기능적 특성을 예측하는 데 있어 PET-MAD의 잠재력을 보여줍니다.

6. 강유전체 재료: 티탄산바륨(BaTiO₃)

아래 그림에서 볼 수 있듯이, 40~400K 온도 범위 내의 유연 셀 시뮬레이션에서 PET-MAD는 마름모꼴에서 직방정계, 정방정계, 입방정계로 이어지는 재료의 특징적인 상전이 순서를 정확하게 재현했습니다. 비록 DFT의 한계가 있지만...예측된 상전이 온도는 실험값보다 낮지만, PET-Bespoke 전용 모델 결과와의 편차는 30K 미만입니다.정적 유전 상수 계산에서도 입방정상에서 높은 유전 상수를, 강유전체상에서 낮은 유전 상수를 나타내는 경향을 정확하게 예측했습니다.

벤치마크 테스트와 다변량 시스템 응용 프로그램 모두에서 다음과 같은 사실이 입증되었습니다...PET-MAD는 매우 적은 양의 독점 데이터만으로도 PET-Bespoke 전용 모델에 버금가는 시뮬레이션 정확도를 달성할 수 있으며, 이온 수송, 상전이 및 표면 반응과 같은 특성을 안정적으로 예측할 수 있습니다.LoRA 미세 조정 기능은 PET-Bespoke 전용 모델의 성능에 더욱 근접할 수 있으며, LLPR 오류 추정 및 이중 힘 예측 모드는 복잡한 시뮬레이션의 효율성과 견고성을 보장하여 폭넓고 심도 있는 다재다능한 원자 간 포텐셜 도구로 만들어 줍니다.

MLIPs: 산업-학계-연구기관 통합이 재료 연구 개발의 패러다임 전환을 주도합니다

높은 정밀도와 효율성이라는 상당한 이점을 지닌 MLIP(다층 폴리머화 공정) 분야는 양자 화학 이론의 최첨단과 산업 공학 응용 분야를 연결하는 핵심 가교 역할을 점차 확대해 나가고 있습니다. 최근 몇 년 동안 연구는 방법론의 실현 가능성 검증에서 그 기능을 더욱 확장하는 방향으로 나아가고 있습니다.

예를 들어, 케임브리지 대학교와 로잔 연방 공과대학(EPFL)의 연구팀은 능동 학습과 증강 샘플링 전략을 결합했습니다.이를 통해 모델은 화학 반응 경로를 따라 주요 전이 상태 구성을 자율적으로 탐색할 수 있으므로 광범위한 사전 반응 데이터 없이도 촉매 활성 및 선택성을 정확하게 예측할 수 있습니다.이는 화학 반응의 동적 과정을 설명하는 데 있어 기존 MLIP의 한계를 효과적으로 극복합니다.

논문 제목: 이집트숲모기 아르고나우트 2는 아르보바이러스 감염 및 숙주 사망률을 제어한다
논문 링크:

https://www.nature.com/articles/s41467-023-41370-y

한편, 기존 모델에 대한 체계적인 평가와 메커니즘 규명이 지속적으로 심화되고 있다. 캘리포니아 대학교 연구팀은 M3GNet, CHGNet, MACE-MP-0 등 주류 범용 MLIP에 대한 종합적인 평가를 수행했다.이는 표면 에너지, 결함 형성 에너지, 포논 스펙트럼 및 이온 이동 장벽을 포함한 다양한 물질 특성을 다룹니다.이 연구는 이러한 모델들이 일반적으로 고에너지 상태 또는 비평형 상태와 관련된 작업에서 에너지와 힘을 체계적으로 과소평가하는 경향을 보인다는 것을 발견했으며, 이는 모델 훈련 전략 및 데이터 구성의 추가 개선 방향을 제시합니다.

논문 제목: 범용 기계 학습에서 원자 간 포텐셜의 체계적인 완화
논문 링크:

https://www.nature.com/articles/s41524-024-01500-6

요약하자면, MLIP 분야는 알고리즘 혁신에서 문제 중심적 접근 방식으로, 기초 평가에서 심층적인 응용 시나리오 개발로 나아가며 새로운 단계에 접어들었습니다. 앞으로 더욱 다양한 규모의 모델링 과제가 해결되고 산업별 모델이 성숙해짐에 따라, MLIP는 디지털 R&D 시스템에서 더욱 핵심적인 역할을 수행하며 재료 과학과 산업 혁신의 상호 발전을 가속화할 것으로 기대됩니다.