백만 개 매개변수 그래프 신경망을 활용한 원자 시뮬레이션 향해

최근 원자 시뮬레이션 모델링을 위한 그래프 신경망(GNNs)의 발전은 기후 변화를 해결하기 위해 필요한 에너지 혁신을 이루는 데 중요한 단계인 촉매 발견 분야에 혁명을 일으킬 잠재력을 가지고 있습니다. 그러나 이 작업에 가장 효과적인 것으로 입증된 GNNs은 삼중항 또는 사중항 원자 간의 고차 상호작용을 모델링하기 때문에 메모리 요구량이 많아, 이러한 모델의 확장을 어렵게 만들고 있습니다. 본 논문에서는 입력 그래프를 여러 GPU에 분산시키는 방법인 그래프 병렬화(Graph Parallelism)를 소개합니다. 이를 통해 수억 또는 수십억 개의 매개변수를 가진 매우 큰 GNNs를 훈련시킬 수 있습니다. 우리는 최근 제안된 DimeNet++ 및 GemNet 모델의 매개변수 수를 10배 이상 확장하여 우리의 방법을 경험적으로 평가하였습니다. 대규모 오픈 촉매 2020(OC20) 데이터셋에서, 이 그래프 병렬화된 모델들은 1) S2EF 작업의 힘 MAE 지표에서 15%의 상대적 개선과 2) IS2RS 작업의 AFbT 지표에서 21%의 상대적 개선을 가져왔으며, 새로운 최첨단 결과를 도출하였습니다.