전체 원자 확산 변환기: 분자와 재료의 통합 생성 모델링

확산 모델은 3D 원자 시스템의 생성 모델링을 위한 표준 도구입니다. 그러나 분자와 재료 등 다양한 유형의 원자 시스템에 대해, 생성 과정은 기본 물리학이 동일함에도 불구하고 대상 시스템에 매우 특화되어 있습니다. 우리는 All-atom Diffusion Transformer (ADiT)를 소개합니다. 이는 주기적인 재료와 비주기적인 분자 시스템을 동일한 모델을 사용하여 동시에 생성할 수 있는 통합된 잠재 확산 프레임워크입니다: (1) 오토인코더는 분자와 재료의 통합된 모든 원자 표현을 공유된 잠재 임베딩 공간으로 매핑하고, (2) 확산 모델은 새로운 잠재 임베딩을 생성하도록 훈련받아, 오토인코더가 이를 디코딩하여 새로운 분자를 샘플링하거나 재료를 생성할 수 있습니다. MP20, QM9 및 GEOM-DRUGS 데이터셋에서 수행한 실험들은 공동으로 훈련된 ADiT가 현실적이고 유효한 분자와 재료를 생성하며, 분자와 결정체 전용 모델과 맞먹는 최신 결과를 얻음을 보여줍니다. ADiT는 오토인코더와 확산 모델 모두에서 최소 귀납 편향(inductive biases)을 사용하는 표준 트랜스포머(Transformer)를 활용하여, 등변형(equivariant) 확산 모델과 비교해 훈련 및 추론 과정에서 상당한 속도 향상을 제공합니다. ADiT의 파라미터 수를 5억 개로 확장하면 예측 가능하게 성능이 개선되며, 이는 생성 화학을 위한 광범위하게 일반화 가능한 기초 모델로 나아가는 단계를 나타냅니다. 오픈 소스 코드: https://github.com/facebookresearch/all-atom-diffusion-transformer