HyperAIHyperAI

Command Palette

Search for a command to run...

Console

スイス連邦工科大学ローザンヌ校 (EPFL) は、100,000 未満の構造化データ ポイントでトレーニングし、専門的なモデルに匹敵する原子シミュレーション精度を実現する PET-MAD を提案しました。

2日前
AI4S の紹介
h.li
Featured Image

半導体材料から活性薬剤分子に至るまで、電子構造は性能を理解する上で依然として重要な鍵となっています。量子力学に基づく第一原理計算は、物質の構造、安定性、そして機能を正確に予測することができ、材料設計と医薬品開発の急速な進歩を牽引してきました。しかしながら、システムの規模が大きくなるにつれて、計算の複雑さは劇的に増大します。最先端のスーパーコンピュータでも、長期間にわたるタンパク質の折り畳みや触媒反応などの複雑なプロセスをシミュレートするのは困難です。これにより、「メカニズムは説明できるが、計算は難しい」という状況が生じています。

従来の手法が計算限界に近づくにつれ、機械学習は原子スケールのシミュレーションに新たな道を開く。量子力学データで訓練された原子間ポテンシャルの機械学習は、複雑な電子構造を効率的な予測モデルにマッピングし、第一原理に近い精度を維持しながら計算コストを数桁削減する。過去20年間、機械学習は高温合金や生体高分子などの系において大きな利点を示し、経験的力場の不十分な精度や第一原理手法の法外なコストといった欠点を克服してきた。しかしながら、初期のモデルは主に単一システム向けに設計されており、トレーニング データを繰り返し生成してパラメータを再調整する必要があり、システム間の研究が非常に困難でした。

そのため、一般化はさらなる発展のための重要な方向性となっています。近年、様々な元素や化学環境に適応できる様々な一般モデルが登場しています。しかし、トレーニングデータが不十分であり、評価基準が一貫していないため、全体的なパフォーマンスは不安定なままです。
このような背景から、スイス連邦工科大学ローザンヌ校 (EPFL) が提案した PET-MAD モデルは新たなサンプルを提供します。広範囲の原子多様性をカバーするデータセットと Point Edge Transformer に基づくネットワーク アーキテクチャを活用することで、従来のモデルよりもはるかに少ないトレーニング サンプルを使用しながら、PET-Bespoke 専用モデルに匹敵する精度を実現します。これは、より高い効率性とより広い適用性に向けた原子シミュレーションの開発にとって強力な例となります。
「先進的な材料モデリングのための軽量で普遍的な原子間ポテンシャルとしての PET-MAD」と題された関連する研究結果が Nature Communications に掲載されました。


用紙のアドレス:
https://www.nature.com/articles/s41467-025-65662-7
弊社の公式 WeChat アカウントをフォローし、バックグラウンドで「PET-MAD」と返信すると、完全な PDF を入手できます。

AIフロンティアに関するその他の論文:
https://hyper.ai/papers

MADデータセット: 85の要素と約10万の構造が含まれています

MAD データセットは、幅広い化学的多様性、厳密なデータ一貫性、優れた使いやすさを特徴とする、一般的な機械学習における原子間ポテンシャル (MLIP) のトレーニング用の高品質なデータ基盤を提供するために構築されました。原子番号 1 から 86 までの 85 個の元素 (アスタチンを除く) が含まれており、合計 95,595 個の構造があります。化学的および構造的特性に基づいて 8 つのサブセットに体系的に分類され、バルク結晶、表面、クラスター、2 次元材料、分子系を幅広くカバーします。
データセットの中核は、Materials Cloud 3D データベースのサブセット、具体的には MC3D サブセットから取得されます。このデータセットには33,596個の個別相結晶構造が含まれています。これに基づき、ガウスノイズを用いて原子座標を摂動することでMC3Dラトルサブセット(30,044構造)を生成し、結晶中の原子の種類をランダムに並べ替えることでMC3Dランダムサブセット(2,800構造)を構築しました。どちらも、極端な歪み構造や非平衡な歪み構造のカバレッジを向上させるために特別に設計されています。
表面および低次元システムのシミュレーション要件を満たすため、データセットには、バルク相切断から得られたMC3D-surfaceサブセット(5,589個の低指数結晶面モデル)とMC3D-clusterサブセット(9,071個のナノクラスター)が含まれており、Materials Cloud 2DデータベースからインポートされたMC2Dサブセット(2,676個の2次元結晶)も含まれています。分子システムについては、SHIFTML-molcrys(8,578個の分子結晶)とSHIFTML-molfrags(3,241個の分子フラグメント)の2つのサブセットがサポートされています。これらはすべて、サンプルの信頼性を確保するために、信頼できるデータベースから取得されています。
データ生成戦略に関しては、MADは、直接的な再利用と構造修正を組み合わせて採用しています。4つのサブセット(MC3D、MC2D、SHIFTML-molcrys、SHIFTML-molfrags)は、公開されている構造を直接利用しますが、同一のDFTパラメータを用いてエネルギーと力を再計算するため、異なるソース間の系統的バイアスは根本的に排除されます。残りのサブセットは、基本構造に物理的な修正(ノイズの追加、原子の再配置、表面の切断など)を加えることで、立体配置の多様性を方向性を持って拡張します。

PET-MAD: ユニバーサル原子間ポテンシャルモデルのアーキテクチャとパフォーマンスのハイライト

PET-MAD モデルは、パレートフロンティアによって最適化されたアーキテクチャでトレーニングされます。このアーキテクチャは、2 つのメッセージ パッシング レイヤーで構成され、各レイヤーには 2 つの Transformer サブレイヤーが装備され、256 次元のトークン表現、8 ヘッドのマルチヘッド アテンション メカニズムが使用され、最終的に 512 個のニューロンを持つ完全接続レイヤーを通じて結果が出力されます。トレーニング プロセスの安定性を向上させるために、正式なトレーニングの前に、システムは線形モデルを適合し、原子構成に関連するエネルギーのベースライン寄与を差し引きます。
トレーニング全体は、Metatrain パッケージを用いてPyTorch フレームワーク内で実行されました。計算タスクは8基のNVIDIA H100 GPUに分散され、バッチサイズはGPUあたり24アーキテクチャでした。合計1,500エポックのトレーニングが行われ、約40時間を要しました。最適化プロセスにはAdamオプティマイザーを使用し、初期学習率は10⁻⁴で、250エポックごとに学習率が半減しました。損失関数は、エネルギーと力の予測値の二乗平均平方根誤差から構成され、エネルギー項の重みは0.1にスケーリングされました。

トレーニング後、モデルはトレーニング セットでエネルギーに対して 7.3 meV/原子、力に対して 43.2 meV/Å の平均絶対誤差を達成し、検証セットではエネルギーに対して 14.7 meV/原子、力に対して 172.2 meV/Å の平均絶対誤差を達成し、優れたフィッティング精度を示しました。
一般的なモデルを特定の化学システムにより適応させるために、PET-MAD は、低ランク適応 (LoRA) 微調整テクノロジーを導入します。従来のフルパラメータ微調整は「壊滅的な忘却」(既存の一般知識の喪失)につながりやすいのに対し、LoRAはベースモデルのすべての重みを固定し、各アテンションモジュールに学習可能な低ランク行列を2組のみ注入し、スケーリングパラメータによってその影響を調整することで、「一般性を損なうことなく正確な改善」という目標を達成します。本研究では、LoRAのランクは8に固定され、スケーリングパラメータは0.5に設定されています。
実験はそれを示していますデータが限られているシナリオでは、LoRA で微調整されたモデルは、このシステム用にゼロからトレーニングされた専用モデルよりも一貫して優れたパフォーマンスを発揮します。チタン酸バリウムなどの複雑なシステムでも、微調整されたモデルは一般的な精度を維持しながら専用モデルに匹敵する物理的観測値を生成できるため、特定のアプリケーション向けの最適化スキームとして推奨されます。
汎用モデルでは、信頼性の高い誤差推定が不可欠です。PET-MADは、最終層予測剛性(LLPR)法を用いて不確実性を定量化します。この手法は、モデルの最終層の隠れ特徴の共分散をトレーニングセット上で分析することで、新しい予測の事後誤差を推定します。追加の計算コストはほとんど発生しません。さらに重要な点として、LLPRでは、最終層の重みを有限個サンプリングして軽量な「浅いアンサンブル」を形成できるため、不確実性を自由エネルギーやフォノン分散曲線などの複雑な導出量の計算に転嫁できます。この手法は従来のアンサンブル法よりも計算コストが大幅に低いため、大規模原子シミュレーションの実用的なニーズに適しています。
また、PET-MAD は 2 つの力予測モードを提供します。1 つは自動微分 (バックプロパゲーション) に基づいてエネルギー分析から力を推測するもので、エネルギー保存則を厳密に満たします。もう 1 つは別のニューラル ネットワーク モジュールを介して原子座標から直接力を予測するもので、推論速度を 2 ~ 3 倍向上できますが、少量のエネルギー非保存則が導入される可能性があります。研究チームは、専用のマルチタイムステップ積分器を設計することで、後者のモードによって発生する可能性のあるサンプリング誤差を効果的に回避し、計算効率と動的シミュレーションの信頼性の両方を確保しました。

ベンチマークと実用的な利点の両方: 最小限の独自データで専用モデルの精度を実現します。

PET-MADの性能を包括的に評価するため、研究チームはまず、Matbench Discoveryなどの権威あるベンチマークテストにおいて、MACE-MP-0やOrb-v2といった主流のモデルシステムと比較しました。公平性を確保するため、研究者らはPET-MADと互換性のあるDFTパラメータを用いてベンチマークサブセットを再計算し、計算方法の違いによるバイアスを排除しました。

テスト結果は下の表に示されています。PET-MAD は、100,000 未満の構造 (類似のモデルよりも 1 ~ 3 桁少ないデータ) と、中程度の 280 万のパラメーター (Orb-v2 の 2,500 万や MACE-MP-0-L の 1,580 万よりはるかに少ない) でトレーニングされ、分子データセット (SPICE、MD22) 上のすべての同等のモデルよりも優れています。これは無機データセットにおける MatterSim-5M などの最先端モデルに匹敵し、その利点は構成が大きく歪んだデータセットでより顕著になり、一部のモデルでは MatterSim-5M の 50 倍もの誤差が生じます。

ベンチマーク結果

しかし、ベンチマークテストだけでは、複雑なシナリオにおけるモデルの信頼性を完全に検証するには不十分です。そこで研究チームは、多様かつ難易度の高い6つのアプリケーションケースを選択し、PET-MAD(LoRA微調整モデル)とPET-Bespoke専用モデルの性能を比較しました。

1. 固体電解質:チオリン酸リチウム(LPS)

本研究では、PET-MADの主要な性能特性であるイオン伝導性に焦点を当てています。下図に示すように、PET-MADのエネルギーおよび力に関する検証誤差(4.9 meV/atom、163.9 meV/Å)は、PET-Bespoke専用モデル(1.2 meV/atom、35.6 meV/Å)よりも高くなっています。しかし、これを利用した分子動力学シミュレーションによって予測される伝導率は、広い温度範囲にわたって PET-Bespoke 専用モデルおよび微調整されたモデルの結果と高い一致を示します。γ 相の相転移温度をわずかに過大評価しただけで、構造モチーフ (PS₄ 四面体回転) がイオン輸送に与える影響を正確に捉えました。

広い温度範囲にわたって、PET-MAD、その LoRA 微調整モデル、および PET-Bespoke 専用モデルによって計算された相伝導率は...

2. 半導体材料:ガリウムヒ素(GaAs)

界面ピンニング法を用いて融点を計算した結果を下図に示します。LoRA調整後のPET-MADは、PET-Bespoke専用モデルの予測結果(1169±3 K vs 1169±4 K)と完全に一致しています。

事前トレーニング済みの一般モデルの予測値 (1111±72 K) はわずかに低くなりますが、その誤差は DFT 機能自体の実験値 (1511 K) からの固有の偏差よりもはるかに小さくなります。この事例では、PET-MAD に組み込まれた LLPR 不確実性定量化機能の価値も強調されています。この機能は、低コストでエラーを評価および伝達し、結果の信頼性の基準を提供します。

温度による気体および固体GaAs間の化学ポテンシャル差の変化

3. 高エントロピー合金:CoCrFeMnNi

表面元素の分離挙動に関しては、以下の図に示すように、事前トレーニング済みの PET-MAD は、このシステムに対して特別なトレーニングを行わなくても、「ニッケルが豊富な表面とその他の元素が枯渇した表面」の分離特性を正確に再現できることが研究で判明しました。これは参考研究と定量的に一致しています。

ただし、エネルギー誤差(25.8 meV/atom)は PET-Bespoke 専用モデル(14.6 meV/atom)よりも高くなります。ただし、後者はトレーニング データが限られている (構造が 2000 個のみ) ため、過剰適合のリスクがある可能性がありますが、PET-MAD はより優れた堅牢性を示しています。

高エントロピー合金のギブス面過剰計算

4. 液体の水と量子核効果

PET-MADは経路積分分子動力学シミュレーションを通じて、水素原子の量子揺らぎによって引き起こされる構造秩序とプロトンの非局在化現象を特徴付けることに成功しました。学習したGGA機能の精度による制限はあるものの、シミュレーションされた系は室温で「過冷却液体」の特性を示し、動径分布関数と熱容量の計算においては良好な性能を示しました。結果は PET-Bespoke 専用モデルと非常に一致しており、その効率性により、この種の計算集約型量子シミュレーションがより実現可能になります。

核量子効果を考慮した液体水の動径分布関数gと熱容量CV

5. 分子結晶:コハク酸のNMR研究

PET-MAD駆動の運動論的シミュレーションと化学遮蔽モデルを組み合わせることで、核の量子運動が¹H NMR遮蔽定数の分布に与える影響を明らかにすることに成功しました。下図に示すように、水素結合プロトンの遮蔽分布は量子サンプリングによって著しく広がり、下方にシフトします。これは、高精度 DFT でトレーニングされた PET-Bespoke 専用モデルの結論と一致しており、複雑な機能特性を予測する PET-MAD の可能性を示しています。

α-コハク酸結晶における化学遮蔽分布

6. 強誘電体材料: チタン酸バリウム (BaTiO₃)

下図に示すように、40~400Kの温度範囲におけるフレキシブルセルシミュレーションにおいて、PET-MADは菱面体晶系から斜方晶系、正方晶系、立方晶系へと変化する材料の特徴的な相転移シーケンスを正確に再現しました。DFTによる制限はあるものの…予測された相転移温度は実験値より低いですが、PET-Bespoke専用モデルの結果との偏差は30K未満です。静的誘電率の計算では、立方相での高誘電率と強誘電相での低誘電率の傾向も正確に予測しました。

BTOの温度依存誘電応答

ベンチマーク テストと多変量システム アプリケーションの両方で次のことが実証されています...PET-MAD は、非常に少ない独自データで PET-Bespoke 専用モデルに近いシミュレーション精度を実現し、イオン輸送、相転移、表面反応などの特性を確実に予測できます。LoRA の微調整により、PET-Bespoke 専用モデルのパフォーマンスをさらに近づけることができ、LLPR エラー推定とデュアルフォース予測モードにより、複雑なシミュレーションの効率と堅牢性が確保されるため、幅広さと深さの両方を備えた多用途の原子間ポテンシャル ツールになります。

MLIP:産学研究の連携が材料研究開発のパラダイムシフトを推進

高精度・高効率という大きな利点を持つMLIP分野は、量子化学理論の最先端と産業工学への応用を繋ぐ重要な架け橋となりつつあります。近年、研究は手法の実現可能性の検証から、その能力のさらなる拡張へと移行しています。

たとえば、ケンブリッジ大学とスイス連邦工科大学ローザンヌ校 (EPFL) の研究チームは、能動学習と拡張サンプリング戦略を組み合わせました。これにより、モデルは化学反応経路に沿った主要な遷移状態の構成を自律的に探索できるようになり、膨大な事前反応データを必要とせずに触媒活性と選択性の正確な予測が可能になります。これは、化学反応の動的プロセスを記述する際の既存の MLIP の制限を効果的に克服します。


論文タイトル:ネッタイシマカArgonaute 2はアルボウイルス感染と宿主死亡率を制御する
論文リンク:

https://www.nature.com/articles/s41467-023-41370-y

一方、既存モデルの体系的な評価とメカニズムの解明は継続的に深化しており、カリフォルニア大学のチームは、M3GNet、CHGNet、MACE-MP-0といった主流の汎用MLIPの包括的な評価を実施しました。表面エネルギー、欠陥形成エネルギー、フォノンスペクトル、イオン移動障壁など、さまざまな材料特性をカバーします。研究では、これらのモデルは一般に、高エネルギー状態や非平衡構成を伴うタスクにおいてエネルギーと力を体系的に過小評価していることが判明しており、これはモデルのトレーニング戦略とデータ構築のさらなる改善への道を示しています。


論文タイトル: 普遍的な機械学習による原子間ポテンシャルの系統的軟化
論文リンク:

https://www.nature.com/articles/s41524-024-01500-6

まとめると、MLIP分野の発展は新たな段階に入り、アルゴリズム革新から問題解決型アプローチへ、そして基礎評価から詳細な応用シナリオ開発へと移行しています。今後、クロススケールモデリングの課題が克服され、産業固有のモデルが成熟するにつれて、MLIPはデジタルR&Dシステムにおいてより中心的な役割を果たし、材料科学と産業イノベーションの相互エンパワーメントを加速することが期待されます。

スイス連邦工科大学ローザンヌ校 (EPFL) は、100,000 未満の構造化データ ポイントでトレーニングし、専門的なモデルに匹敵する原子シミュレーション精度を実現する PET-MAD を提案しました。 | ニュース | HyperAI超神経