HyperAI超神経
16日前

全原子拡散トランスフォーマー:分子と材料の統一生成モデリング

Chaitanya K. Joshi, Xiang Fu, Yi-Lun Liao, Vahe Gharakhanyan, Benjamin Kurt Miller, Anuroop Sriram, Zachary Ward Ulissi
全原子拡散トランスフォーマー:分子と材料の統一生成モデリング
要約

拡散モデルは、3次元原子系の生成モデリングにおける標準的なツールキットとなっています。しかし、分子や材料などの異なる種類の原子系では、基礎となる物理学が同じであるにもかかわらず、生成プロセスは通常、対象システムに特異的に依存しています。本稿では、周期性を持つ材料と非周期性を持つ分子系を同一のモデルを使用して同時生成するための一貫した潜在拡散フレームワークである全原子拡散トランスフォーマー(All-atom Diffusion Transformer, ADiT)を導入します。ADiTは以下の2つのステップで構成されています:(1) 自動エンコーダーが分子と材料の統一された全原子表現を共有される潜在埋め込み空間にマッピングします;(2) 潜在埋め込み空間において新しい潜在埋め込みを生成するための拡散モデルが訓練され、自動エンコーダーによって新しい分子または材料をサンプリングするためにデコードされます。MP20、QM9およびGEOM-DRUGSデータセットでの実験結果から、共同訓練されたADiTは現実的かつ有効な分子および材料を生成し、分子や結晶に特化したモデルと同等の最先端の結果を得ることが示されました。ADiTは自動エンコーダーと拡散モデルの両方で最小限の帰納バイアスを持つ標準的なトランスフォーマーを使用しており、これにより等変換拡散モデルと比較して訓練および推論時に大幅な高速化が達成されています。ADiTを5億パラメータまでスケーリングすると予測通り性能が向上し、これは生成化学向けに広く一般化可能な基盤モデルへの一歩となります。オープンソースコード: https://github.com/facebookresearch/all-atom-diffusion-transformer