300%는 안정성 소재 생성의 효율성을 높여줍니다! Meta FAIR는 45,000개 이상의 재료를 포함하는 데이터 세트를 갖춘 재료 생성 모델 FlowLLM을 출시했습니다.
결정질 재료는 규칙적으로 배열된 원자, 이온 또는 분자 구조를 가진 재료의 한 종류로, 산업과 기술 분야에서 중요한 역할을 합니다.
그러나 결정질 재료의 생성 및 설계 과정은 간단하지 않으며 일반적으로 동시에 이산 변수와 연속 변수를 조합하여 고려해야 합니다. 이산 변수는 재료의 기본 틀(원자 유형 및 초기 격자 구조 등)을 정의하는 반면, 연속 변수는 이 기본 틀 내에서 미세 조정 및 최적화를 허용하여 궁극적으로 특정 물리적 및 화학적 특성을 가진 결정질 재료를 생성합니다.
AI 기술의 학제간 적용으로모델에서 이산 변수와 연속 변수를 효과적으로 결합하여 고품질의 결정 물질 생성 효과를 얻는 방법은 결정 물질 생성 분야의 핵심 문제가 되었습니다.
자기회귀 대규모 언어 모델(LLM)과 잡음 제거 모델(잡음 제거 확산 모델, 흐름 매칭 모델 등)을 포함한 기존 방법은 이 분야에서 어느 정도 성공을 거두었지만, 모두 고유한 한계가 있습니다.
구체적으로 LLM은 원자 유형과 같은 이산 원소를 비롯한 이산 값을 모델링하는 데 탁월하지만 격자 기하학과 원자의 위치를 정확하게 설명하는 데는 어려움이 있습니다. 잡음 제거 모델은 연속 변수를 처리하는 데 더 많은 장점이 있으며 결정 구조의 등가성을 더 잘 유지할 수 있지만 원자 유형과 같은 불연속 요소를 모델링하는 데는 어려움이 있습니다.
이를 바탕으로 Meta의 FAIR 연구실과 암스테르담 대학교는 공동으로 재료 생성 모델 FlowLLM을 출시했습니다.이는 대규모 언어 모델(LLM)과 리만 흐름 매칭(RFM)을 결합한 새로운 생성 모델입니다. LLM이 자연어 프롬프트를 제공하는 기능을 유지하면서도 기존 모델보다 안정적인 자료를 생성하는 효율성이 300% 이상 향상되었으며, SUN 자료를 생성하는 효율성도 약 50% 향상되었습니다.
* SUN 소재란 재료과학 분야에서 AI 기술을 통해 생성되는 안정적이고 독특하며 새로운 소재를 말합니다. 이 개념은 Microsoft에서 MatterGen 모델을 논의할 때 제안되었습니다.
"FlowLLM: 대규모 언어 모델을 기본 분포로 한 재료 생성을 위한 흐름 매칭"이라는 제목의 관련 연구가 사전 인쇄 웹사이트 arXiv에 업로드되었고 NeurIPS 2024에 수락되었습니다.
연구 하이라이트:
* FlowLLM은 LLM과 RFM을 결합하여 이산 모델링과 연속 모델링 간의 격차를 효과적으로 메우고 안정적이고 독특하며 새로운 소재를 생성하는 효율성을 크게 향상시킵니다.
* FlowLLM은 새롭고 안정적인 소재를 생성하는 데 있어 CD-VAE, DiffCSP, FlowMM, CrystalLLM 및 기타 모델보다 훨씬 우수한 성능을 발휘합니다. 안정성 비율은 이전 최고 모델보다 약 300% 더 높고, SUN 비율은 약 50% 더 높습니다.
서류 주소:
https://arxiv.org/pdf/2410.23405
공식 계정을 팔로우하고 "FlowLLM"이라고 답글을 달면 전체 PDF를 받을 수 있습니다.
오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.
https://github.com/hyperai/awesome-ai4s
데이터 세트: 45,231개의 소재를 포함하고 있으며 모델은 MP-20 데이터 세트에서 학습되었습니다.
FlowLLM 모델은 무기 결정질 재료 데이터 세트 MP-20을 사용하여 학습되었습니다. MP-20에는 45,231개의 자료가 포함되어 있습니다.최대 20개의 준안정 원자를 포함하는 재료 프로젝트의 하위 집합입니다.
먼저, 연구진은 MP-20 데이터 세트를 사용하여 LLM을 독립적으로 훈련시키고 LoRA(Low-Rank Adapters) 방법을 사용하여 PyTorch와 Transformers에서 미세 조정했습니다. 이후 연구진은 미세 조정된 LLM(가중치 동결)을 기본 분포로 사용하고 MP-20 데이터 세트를 대상 분포로 사용하여 RFM 모델을 추가로 훈련했습니다.
보완적 장점: LLM + RFM의 두 모델을 결합하여 새로운 세대 모델인 FlowLLM이 탄생했습니다.
FlowLLM은 대규모 언어 모델(LLM)과 리만 흐름 매칭(RFM) 모델을 결합한 새로운 생성 모델입니다.이는 LLM과 RFM을 창의적으로 결합하여 기존 연구를 바탕으로 한 추가 연구입니다.
여기서 사용된 LLM은 올해 2월 Meta FAIR과 뉴욕대학교가 발표한 "미세 조정된 언어 모델은 텍스트로서 안정적인 무기 물질을 생성합니다"라는 연구 결과에서 따왔습니다. 이 연구는 미세 조정된 LLM(LLaMA-2 70B)이 준안정 물질의 생성을 예측하는 데 성공할 확률이 경쟁 확산 모델인 CDVAE의 약 2배라는 것을 증명했습니다.
서류 주소:
https://arxiv.org/abs/2402.04379
FlowMM은 Meta FAIR와 암스테르담 대학이 올해 6월에 발표한 "FlowMM: 리만 흐름 매칭을 이용한 재료 생성"이라는 연구 결과에서 나왔습니다. 생성 모델인 FlowMM은 안정적인 재료를 찾는 데 있어 기존의 오픈 소스 방식보다 3배 더 효율적입니다.
서류 주소:
https://arxiv.org/abs/2406.04713
아래 그림에서 보듯이, 연구자들은 먼저 미세 조정된 LLM을 사용하여 무조건 쿼리를 통해 초기 물질 표현을 생성합니다. 그런 다음 RFM 모델은 재료를 반복적으로 변환하여 원자 위치와 격자 매개변수를 업데이트합니다. RFM에서는 원자 유형이 변경되지 않는다는 점에 유의하세요.
연구자들은 두 모델을 결합하면 서로의 장점을 보완할 수 있다고 지적합니다.한편, LLM은 RFM에 대한 좋은 학습 기반 분포를 제공합니다.LLM의 출력 분포는 RFM의 학습된 기저 분포 역할을 하며, 일반적으로 사용되는 균일 기저 분포를 대체합니다. LLM은 물질적 데이터에 대해 학습되었기 때문에 학습된 기저 분포가 목표 분포에 더 가까워 RFM과의 통합이 크게 간소화됩니다.
* 흐름 모델(예: RFM)에서 기본 분포는 모델이 샘플을 생성하는 시작 분포입니다. 기본 분포를 학습하면 데이터의 실제 구조와 패턴을 더욱 정확하게 파악할 수 있습니다. 특히 복잡한 데이터(재료 설계에서의 결정 구조 등)를 다룰 때, 기본 분포를 학습하면 생성된 샘플의 품질과 모델의 성능을 효과적으로 개선할 수 있습니다.
반면, RFM은 LLM의 출력을 최적화합니다.LLM은 연속적인 값을 처리할 때 정밀도가 제한적이기 때문에 대략적인 재료 표현을 생성합니다. RFM은 반복적인 잡음 제거를 통해 이러한 근사치를 개선하여 더욱 정확한 표현을 제공합니다.
우수: 모델 안정형 소재 생성 효율 300% 증가, SUN 소재 생성 효율 50% 증가
연구진은 모델의 성능을 테스트하기 위해 FlowLLM 모델을 CD-VAE 모델(변형 자동 인코더와 확산 모델의 하이브리드 모델), DiffCSP 모델(확산 모델), FlowMM 모델(리만 흐름 매칭 모델), CrystalLLM 모델(재료 시퀀스에 따라 미세 조정된 LLaMA-2 모델)과 비교하고 각 모델에 10,000개의 새로운 구조를 생성하도록 요청했습니다.
성능 비교에서,연구자들이 주목한 주요 지표는 안정율과 SUN율이었습니다. 구체적으로 안정성은 생성된 물질 중 열역학적으로 안정한 물질의 비율을 말하며, 이는 합성 가능성을 나타내는 중요한 지표입니다. SUN 비율은 안정적이고 독특하며 새로운 소재의 비율을 나타냅니다. 결과는 아래 그림과 같습니다.
안정성과 SUN 비율 측면에서FlowLLM 모델에 의해 생성된 물질 중 열역학적으로 안정한 물질의 비율은 17.82%이고, SUN 비율은 4.92%에 이릅니다. 연구팀은 논문에서 다음과 같이 소개했습니다.기존 최적모델과 비교했을 때, FlowLLM의 안정율은 300%만큼 향상되었고, SUN율은 50%만큼 향상되었습니다.
에헐 값은 재료의 안정성과 합성성을 측정하는 중요한 매개변수 중 하나입니다. 주어진 재료 구조에 대해 Ehull 값이 0에 가까울수록 해당 재료는 매우 안정적이며 실제 합성 과정에서 존재할 가능성이 더 높다는 것을 의미합니다. Ehull 값이 높으면 해당 재료가 안정적이지 않고 합성하기 어렵다는 것을 나타낼 수 있습니다.
FlowLLM에서 생성된 재료의 안정성과 합성 가능성을 추가로 테스트하려면연구진은 아래 그림과 같이 FlowLLM에서 생성된 재료의 Ehull 값을 기존 모델의 값과 비교했습니다. 점선은 열역학적 안정도 임계값(Ehull = 0)을 나타내고, 빨간색은 FlowLLM 모델을 나타내며, 파란색은 각각 CD-VAE, DiffCSP 및 FlowMM을 나타냅니다.
FlowLLM은 다른 모델에 비해 더 낮은 Ehull 값으로 더 많은 재료를 생성할 수 있음을 알 수 있습니다. 즉,FlowLLM에서 생성된 자료는 다른 모델에서 생성된 자료보다 더 안정적이고 합성이 가능합니다.
또한 연구자들은 모델의 N항 값을 평가했습니다. N항 값은 재료에 있는 다양한 원소 유형의 수를 나타냅니다.N항 값이 높을수록 재료의 복잡성이 커지고 합성하기가 더 어려워집니다.아래 그림에서 보듯이, 연구자들은 다양한 모델의 N항 값의 분포를 비교했습니다. 결과는 FlowMM과 FlowLLM이 확산 모델보다 데이터 분포와 더 일관성이 있음을 보여줍니다. 이는 재료 데이터를 피팅할 때 FlowMM 및 FlowLLM 모델이재료의 본질적인 구조와 분포 특성을 더 잘 포착할 수 있습니다.
마지막으로 연구자들은 모델의 RFM 통합 단계에 대한 비교 분석도 수행했습니다. 아래 그림에서 보듯이 수백 또는 수천 개의 적분 단계가 필요한 확산 및 흐름 매칭 모델과 비교했을 때,FlowLLM은 최소 50단계로 수렴할 수 있습니다.
결정 물질 생성 분야의 백 가지 사상 학교
재료과학 연구 분야에서 Meta의 FAIR 연구실은 최근 높은 생산성을 보이는 시기를 맞았습니다. 불과 몇 주 전에 OMat24 데이터 세트가 출시되었습니다. 이 데이터 세트에는 구조적, 구성적 다양성에 초점을 맞춘 1억 1천만 개 이상의 DFT 계산 결과가 포함되어 있으며, 모델 학습을 위한 새로운 고품질 "원료"를 제공합니다.
자세한 보고서를 보려면 클릭하세요: 주기율표를 거의 다 다루었습니다! Meta는 1억 1천만 개의 DFT 계산 결과를 포함한 오픈 소스 OMat24 데이터 세트를 공개했습니다.
사실, 결정 물질 생성 분야에서는 이 글에서 언급한 LLM과 잡음 제거 모델 외에도 생성적 적대 신경망(GAN)을 기반으로 한 물질 생성, 변형 자동 인코더(VAE)를 기반으로 한 물질 생성, 그래프 신경망(GNN)을 기반으로 한 물질 생성 등 여러 가지 방법이 있습니다.
2018년에 파리 에스트 대학교와 소르본 대학교는 두 개의 크로스 도메인 GAN 모듈을 결합하여 CrystalGAN을 제안했습니다.CrystalGAN은 수소 저장 소재를 발견하는 데 적용되어 실제 화학 및 재료 과학 과제를 해결하는 데 효과적이라는 점이 입증되었습니다.
관련 연구는 "CrystalGAN: 생성적 적대 네트워크를 사용하여 결정학적 구조를 발견하는 방법"이라는 제목으로 ICLR 2019에 게재되었습니다.
서류 주소:
https://openreview.net/pdf?id=SyEGUi05Km
2021년 MIT 컴퓨터 및 인공지능 연구소는 CD-VAE를 제안했습니다.이는 안정적인 재료의 데이터 분포를 학습하여 재료 안정성의 물리적 귀납적 편향을 포착합니다. 관련 연구는 "주기적 물질 생성을 위한 결정 확산 변형 자동 인코더"라는 제목으로 ICLR 2022에 게재되었습니다.
서류 주소:
https://openreview.net/forum?id=03RLpj-tc_
2023년, 태국의 쭐랄롱콘 대학교와 태국 물리학 우수센터는 CD-VAE 연구를 바탕으로 DP-CDVAE를 출시했습니다. DP-CDVAE는 CD-VAE와 비슷한 성능을 유지하면서도 에너지 정확도, 발전 성능, 격자 발전 품질 측면에서 상당한 장점을 보여줍니다.
관련 연구는 "확산 확률 모델은 결정 구조 생성 모델링을 위한 변분 자동 인코더를 향상시킨다"라는 제목으로 Nature에 게재되었습니다.
서류 주소:
https://www.nature.com/articles/s41598-024-51400-4
2023년, Google DeepMind의 재료팀은 재료 탐색을 위한 그래프 신경망 모델인 GNoME을 출시했습니다.짧은 기간 내에 220만 개의 새로운 결정이 발견되었는데(이는 인간 과학자들이 축적한 지식 약 800년에 해당), 이 중 38만 개의 새로운 결정은 구조가 안정적이어서 실험적으로 합성하여 실용화하기에 가장 적합한 잠재적 신소재였습니다.
자세한 보고서를 읽으려면 클릭하세요: 인류보다 800년 앞서 있나요? DeepMind, 딥러닝을 활용해 220만 개의 새로운 수정을 예측하는 GNoME 출시
올해 도호쿠 대학과 MIT의 연구자들도 GNN 방법을 기반으로 한 GNNOpt 모델을 제안했습니다.32%를 넘는 태양 에너지 변환 효율을 가진 246개 물질과 높은 양자 중량을 가진 296개 양자 물질을 성공적으로 식별함으로써 에너지 및 양자 물질의 발견이 크게 가속화되었습니다.
관련 연구 결과는 이보다 훨씬 더 많습니다. 결정물질 생성 분야에서 우리는 "백가지 학파의 경쟁"이 번성하는 광경을 목격하고 있습니다. 연구가 심화됨에 따라, 우리는 이러한 혁신적인 방법과 이론이 에너지, 환경, 건강 등의 분야에서 세계적 과제에 대한 핵심 솔루션을 제공할 수 있을 것이라고 믿을 만한 이유가 있습니다.
