초전도 소재 탐색 효율이 5배 증가했습니다! 플로리다 대학과 다른 대학들은 딥러닝을 사용하여 물질 발견을 혁신하고 그 결과를 Nature에 게재했습니다.

공상과학 영화 '아바타'에서 녹색 덩굴에 얽혀 구름 속에 떠 있는 판도라 행성의 할렐루야 산은 관객에게 깊은 인상을 남겼을 것입니다. 그 정지 상태의 비밀은 산 속에 숨겨진 상온 초전도 광물인 "언옵타늄"에 있습니다. 영화에서 인간은 지구에 존재하지 않는 보물을 차지하기 위해 나비족의 고향을 파괴하려고 합니다. 이는 허구적인 이야기일 뿐이지만, 실제로 물리학자들의 초전도체에 대한 열망과 추구는 영화 속 '언옵타늄'에 대한 인간의 집착에 못지않습니다. 이론상 초전도체 물질은 무한한 에너지를 공급할 수 있습니다.

초전도 물질에 대한 연구자들은 2023년에 작은 정점에 도달했습니다. 당시 한국 연구팀은 상온 초전도 물질인 LK-99를 발견했다고 주장했는데, 이는 전 세계적으로 폭넓은 주목을 받았고 일부에서는 ChatGPT 이후 또 다른 주요 기술적 혁신으로 간주하기도 했습니다. 이 발견은 결국 오해였던 것으로 밝혀졌지만, 이를 통해 초전도 소재의 인기가 다시 한번 높아졌고, 사람들에게 이 분야의 엄청난 잠재력을 깨닫게 되었습니다.

과학 분야에서 AI가 부상하면서 사람들은 대담하게 상상하기 시작했습니다. AI 기술을 사용하여 상온 초전도 물질을 발견할 수 있을까요? 이론적으로는 완전히 실현 가능하며, 과제는 여전히 남아 있지만 일부 연구팀은 이와 관련하여 이미 중요한 조치를 취했습니다.예를 들어, 미국 플로리다 대학과 테네시 대학의 연구진은 딥러닝 모델 BETE-NET을 통해 금속의 전기음향 상호작용 엘리아쉬버그 스펙트럼 함수 α²F(ω)를 성공적으로 예측하여 고온 초전도체 탐색 효율을 5배 높였습니다.이번 성과는 초전도체 발견을 위한 새로운 아이디어와 방법을 제시할 뿐만 아니라, 재료 과학 분야에서 AI 기술을 적용하는 데 있어서 모범 사례를 보여주었습니다.

관련 연구 결과는 학술지 npj Computational Materials에 "전자-포논 스펙트럼 함수의 강화된 심층 학습을 통한 초전도체 발견 가속화"라는 제목으로 게재되었습니다.

서류 주소:https://www.nature.com/articles/s41524-024-01475-4

공식 계정을 팔로우하고 "BETE-NET"이라고 답글을 달면 전체 PDF를 받을 수 있습니다.

데이터세트 다운로드 주소:

https://go.hyper.ai/GjZDo

오픈소스 프로젝트인 "awesome-ai4s"는 200개 이상의 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.

https://github.com/hyperai/awesome-ai4s

초전도 재료의 딜레마: 학습 데이터 세트와 머신 러닝 기술 간의 "딜레마"

초전도체에 대한 AI 모델의 효율성은 일반적으로 두 가지 주요 요인, 즉 훈련 데이터 세트와 머신 러닝 기술의 선택에 따라 달라집니다.이 두 가지 핵심 요소를 해결해야만 초전도 소재의 연구 개발을 더욱 촉진하고 미래의 과학 기술 혁신을 위한 튼튼한 토대를 마련할 수 있습니다. 그러나 두 방향 모두 많은 어려움에 직면해 있습니다.

첫째, 금속의 초전도 특성을 빠르고 정확하게 추정할 수 있는 모델은 일반적으로 재료 정보학 데이터베이스에서 수만 개의 데이터 포인트가 필요합니다. 그러나 다른 데이터베이스와 달리 이에 상응하는 대규모 α²F(ω) 데이터 세트를 개발하는 것은 매우 어렵습니다. 이는 비용이 너무 많이 들 뿐만 아니라 α²F(ω)를 정확하게 계산하기 위한 표준화된 밀도 함수 이론 매개변수 집합(k-포인트 및 q-포인트 밀도, 평활화 값 등)이 부족하기 때문입니다. 이러한 장애물을 감안할 때, 과학자들은 현재의 어려움을 극복하고 초전도 특성 추정 모델 개발을 촉진하기 위해 소규모 데이터 세트를 효과적으로 처리할 수 있는 일련의 머신 러닝 기술이 필요합니다.

둘째, 초전도 연구 분야에서 연구자들은 이러한 모델을 사용할 때 종종 큰 어려움에 직면합니다. 사용 가능한 데이터 세트가 종종 이질적이고 수가 제한적이기 때문입니다. 오랫동안 초전도체에 대한 연구는 초전도 특성에 대한 제한된 데이터 문제를 해결하기 위해 실험적 Tc 값을 포함하는 잘 알려진 "SuperCon" 데이터베이스에 주로 의존해 왔습니다. 그러나 이 데이터베이스에는 중복된 항목, 의심스러운 값, 불분명한 화학식 등 많은 문제점이 있습니다. 이처럼 방대하고 포괄적인 데이터 세트가 부족하다는 것은 새로운 초전도 물질의 개발을 크게 제한할 뿐만 아니라, 에너지 전송, 운송 분야의 자기 부상, 의료 영상 분야의 강력한 초전도 자석 분야에서 초전도 물질의 혁명적 잠재력을 심각하게 저해합니다.

그라츠 공과대학교 이론 및 계산 물리학 연구소에서 제안한 고압 수소화물만을 포함하는 Superhydra 데이터베이스, 독일 할레 물리학 연구소에서 시작한 호이슬러 초전도체에 초점을 맞춘 데이터베이스, 포르투갈 코임브라 대학교 물리학과 연구진이 7,000건의 전자-포논 계산을 기반으로 학습한 모델, 미국 국립표준기술연구소에서 개발한 626개의 동적으로 안정한 물질과 관련 α²F(ω)를 포함하는 데이터베이스 등 여러 가지 물질 구조 및 계산된 α²F(ω) 데이터베이스가 등장했지만, 이러한 데이터베이스는 여전히 α²F(ω)를 예측하는 데 성능이 좋지 않습니다.

이러한 문제를 더 잘 해결하기 위해,이 연구에서 플로리다 대학과 테네시 대학의 연구진은 포괄적인 엘리아쉬버그 스펙트럼 함수 데이터 세트를 만들고 최신 딥러닝 기술을 사용하여 견고한 모델을 개발함으로써 이 두 가지 핵심 요소를 성공적으로 해결하여 초전도 소재의 연구 및 개발에 새로운 길을 열었습니다.이번 성과는 초전도체 연구를 위한 새로운 방법과 도구를 제공할 뿐만 아니라, 미래의 과학 및 기술 혁신과 응용을 위한 튼튼한 기반을 마련해 줍니다.

BETE-NET: 제한된 데이터로 계산 탐색의 경계를 크게 확장

전자-포논 결합을 계산할 때, Kohn-Sham 파동 함수를 계산하는 데 사용된 k-포인트 메시가 포논을 계산하는 데 사용된 q-포인트 메시와 일치하는지 확인해야 합니다. 데이터 세트 문제를 해결하기 위해 이 연구에서는 먼저 k 및 q 메시의 표준화된 선택을 위한 알고리즘을 제안했습니다. 이는 서로 다른 단위 셀 부피를 가진 재료를 처리하기 위해 고정된 메시를 사용하는 대신, 사용자가 제공한 k 및 q 포인트 밀도를 기반으로 메시를 생성할 수 있습니다. 이러한 접근 방식을 통해 연구자들은 데이터의 균일성과 품질을 개선했을 뿐만 아니라, 데이터 세트의 광범위한 적용성을 보장할 수 있었습니다.그 결과, 동적으로 안정한 818개 소재에 대한 고품질 전자-포논 계산의 포괄적인 데이터베이스가 탄생했습니다.다음으로, 연구진은 818개의 동적으로 안정적인 소재를 80%-20%의 비율로 훈련 세트와 테스트 세트로 나누었습니다.

데이터세트 다운로드 주소:
https://go.hyper.ai/GjZDo

연구진은 데이터 세트의 품질을 평가한 후, 제한된 데이터베이스 크기로 인한 딥 러닝 문제를 해결하기 위해 BETE-NET을 추가로 설계했습니다.아래 그림과 같이 BETE-NET 모델은 결정 구조를 그래프로 변환하고, 일련의 합성곱 연산과 게이트 블록 연산을 통해 사이트 투영의 원자 번호, 원자 질량, 원자 간 거리, PhDOS 정보를 결합한 후, 최종적으로 풀링 연산을 통해 α²F(ω)의 예측값을 생성합니다. PhDOS 정보를 도입함으로써 모델의 예측 성능이 크게 향상되었습니다. 이 설계는 결정 구조에 대한 정보를 최대한 활용할 뿐만 아니라 재료의 진동 특성까지 결합하여 초전도 재료의 α²F(ω)를 예측하는 모델을 더욱 정확하고 신뢰할 수 있게 만듭니다. 궁극적으로, 이 연구는 3가지 변형을 훈련시켰습니다.

* CSO(Crystal Structure Only) 변형: 모델의 기본 네트워크로, 예측을 위해 결정 구조 정보만 사용합니다.

* CPD(대략적인 PhDOS) 변형: 이 모델은 현장 투영 포논 상태 밀도(PhDOS) 정보를 도입하여 모델의 예측 성능을 더욱 향상시킵니다.

* FPD(Fine PhDOS) 변형: PhDOS는 더욱 미세한 q-메시를 사용하여 계산되며, 모델의 재료 진동 특성을 포착하는 능력이 더욱 향상됩니다.

데이터가 제한적이면 모델이 빠르게 과적합되는 경향이 있습니다. 기존의 머신 러닝은 과도한 적합이 모델의 일반화 능력에 해롭다고 생각하지만, 많은 딥 러닝 모델은 손실이 거의 0에 가깝게 학습해도 여전히 우수한 일반화 오류를 유지할 수 있습니다. 이런 현상을 "이중강하"라고 하며, 통제된 과적합의 한 형태로 볼 수 있습니다. 아래 그림에서 보듯이 이중 쇠퇴 현상은 고전적 체제, 비판적 체제, 근대적 체제의 세 단계로 구성되며, 각 단계의 상실 양상이 그림에 나타나 있다. 연구자들은 이러한 손실 지형을 도시함으로써 신경망의 편향과 분산을 직관적으로 해석할 수 있는 그럴듯한 방법을 제안하고, 이중 강림 현상에 대한 질적 설명을 제공합니다.

이 연구는 높은 Tc 물질의 선별을 통해 더욱 검증되었습니다.먼저, 이 연구에서는 Tc^DFT≥5K인 모든 재료를 고온 재료로 정의했으며, 최종적으로 33개의 재료가 이 기준을 충족했습니다. 다음으로, 연구에서는 각 모델에 대한 정밀도-재현율 곡선을 그렸습니다. 결과에 따르면 CPD 및 FPD 모델이 달성한 평균 정확도(AP)는 무작위 분류기의 정확도보다 거의 5배 더 높은 것으로 나타났습니다. 이는 이러한 모델이 고온 Tc 물질을 식별하는 데 우수한 성능을 보이며, 무작위 분류기보다 상당히 우수한 성능을 보임을 보여주며, 이를 통해 실제 적용에서 모델의 효과성과 신뢰성이 검증되었습니다.

요약하자면, BETE-NET 모델은 도메인별 지식과 고급 딥러닝 기술이 완벽하게 융합된 완벽한 사례입니다. 제한된 데이터로 금속의 전기음향 상호작용 Eliashberg 스펙트럼 함수 α²F(ω)를 효율적으로 예측할 수 있습니다. 이는 계산적 탐구의 경계를 크게 확장할 뿐만 아니라, 새로운 초전도체의 발견을 지원함으로써 사회적으로 혁신적인 영향을 미칠 것으로 기대됩니다.

등가 신경망: 소재 산업에서 AlphaFold의 탄생을 돕다

흥미롭게도 이 연구가 발표된 직후인 1월 17일에Microsoft CEO인 사티아 나델라는 자사의 MatterGen 모델이 Nature 잡지에 게재되었다고 직접 발표했습니다.이 모델은 현재 알려진 소재를 넘어 AI를 사용하여 특정 요구 사항에 맞는 새로운 소재를 발견할 수 있습니다. 이는 재료 디자인 분야에서 새로운 패러다임을 제시합니다. 즉, 기존 데이터베이스 스크리닝에서 수요에 따라 새로운 재료를 직접 생성하는 방식으로 전환하는 것입니다. 일부 네티즌들은 "소재계의 알파폴드가 왔다"고 외쳤다.

MatterGen 모델의 핵심은 고유한 확산 모델 아키텍처에 있다는 점은 주목할 만합니다. 이 확산 과정에서 MatterGen 모델은 등가 분수 네트워크를 사용하는데, 이는 이 연구에서 α²F(ω)를 학습할 때 선택한 모델이기도 합니다. 이는 주로 확산 과정, 즉 잡음 제거 과정에서 원래의 결정 구조를 복구하는 역할을 합니다.

등가 신경망은 기존 신경망의 기초 위에 등가 제약 조건 요건을 추가합니다. 네트워크의 모든 연산은 동치적이어야 하므로 전체 네트워크는 동치적 사상입니다. 실제로, 등가 신경망은 재료 분야의 과학 연구를 위한 AI의 주류가 되었습니다.

작년 9월, 일본 도호쿠 대학과 매사추세츠 공과대학의 연구진은 GNNOpt라는 새로운 인공지능 도구를 출시했습니다.GNNOpt는 등가 신경망을 통합하여 944개 물질의 소규모 데이터 집합을 사용하여 고품질 예측을 달성하고, 32%를 초과하는 태양 에너지 변환 효율을 가진 246개 물질과 높은 양자 가중치를 가진 296개 양자 물질을 성공적으로 식별하여 에너지 및 양자 물질의 발견을 크게 가속화했습니다.

작년 8월, 청화대학교의 쉬융(Xu Yong)과 돤원후이(Duan Wenhui)가 이끄는 연구진은 신경망 DFT 프레임워크를 제안했습니다.본 연구에서는 물질 구조 정보를 등가 신경망의 입력 조건으로 임베딩하여 해밀토니안 행렬을 출력함으로써 신경망의 손실 함수 최소화와 밀도 함수 이론의 에너지 함수 최적화를 통합한다. 이 프레임워크는 기존의 지도 학습 방법과 비교했을 때 정확도와 효율성이 더 높고, 딥 러닝 DFT 방법 개발을 위한 새로운 길을 열어줍니다. 연구팀은 이전에 xDeepH(확장된 DeepH) 방법을 제안하기도 했습니다. 이는 심층 등가 신경망 프레임워크를 사용하여 자성체의 DFT 해밀토니언을 표현하고, 이를 통해 효율적인 전자 구조 계산을 수행합니다.

오늘날 등가 신경망은 초전도 소재 분야를 새로운 연구 패러다임으로 이끌고 있습니다. 초전도 소재의 연구와 응용은 더 이상 실험실에만 국한되지 않고 점차 실생활에 접목되고 있으며, 시장 잠재력 또한 끊임없이 개발되고 있습니다. 세계 초전도 소재 시장은 지속적으로 확대되어 2027년에는 192억 유로 규모로 성장할 것으로 전망됩니다. 등가 신경망, 초전도 소재 등 AI 기술의 심층적인 통합을 통해 인간은 기술의 '전환점'에 다다르며 무한한 가능성으로 가득한 새로운 시대를 맞이하고 있습니다.