증가하는 에너지 수요와 "탄소 중립" 목표에 대한 마감일이 다가옴에 따라, 탄소 배출량이 적거나 심지어 탄소 배출량이 없는 청정 에너지를 사용하는 것이 일반적인 추세입니다. 최근 들어 탄소 배출 없이 전기를 생산할 수 있는 잠재력을 가진 핵융합 기술이 폭넓은 주목을 받고 있으며, 점점 더 많은 학자와 전문가가 심층 연구를 진행하고 있습니다.

토카막 핵융합 실험의 놀라운 성공에도 불구하고, 여전히 장애물이 남아 있으며, 특히 플라즈마 붕괴는 ITER의 장펄스 작동을 성공적으로 이루기 위해 반드시 해결해야 할 가장 중요한 문제 중 하나입니다. 주된 이유는 플라스마가 매우 쉽게 "찢어지고" 그것을 가두는 데 사용된 강력한 자기장에서 빠져나가기 때문에 핵융합 반응이 중단되기 때문입니다.

이전 연구에서는 단시간 동안 핵융합 에너지를 유지하는 것이 가능했습니다. 요즘에는 딥 강화 학습(DRL) 기술이 비선형 및 고차원 주행 문제에서 높은 성능을 보여주면서, 사람들은 이를 핵융합 연구에 도입하는 것을 모색하기 시작했습니다.얼마 전, 프린스턴 대학의 연구진은 적응형 예측 및 제어를 위한 AI 컨트롤러를 개발했습니다. 이 컨트롤러는 플라즈마 파괴의 잠재적 위험을 300밀리초 전에 예측하고 적절한 시기에 개입할 수 있습니다. 관련 결과는 "Nature"에 게재되었습니다.

서류 주소:
https://www.nature.com/articles/s41586-024-07024-9
공식 계정을 팔로우하고 "핵융합"이라고 답글을 달면 전체 논문을 다운로드할 수 있습니다.

전통적인 물리학 방법과 AI 결합

아래 그림에서 보듯이, 연구자들은 기존의 물리학 기반 방법과 고급 AI 기술을 통합하여 플라즈마 행동에 대한 제어와 이해를 개선했습니다.

그림 a:진단 시스템은 DIII-D 토카막 내부의 플라즈마를 모니터링하고 분석하는 데 이 연구에서 사용된 주요 진단 도구를 보여줍니다.

여기에는 자기장을 측정하는 자기학, 밀도와 온도 분포를 측정하는 톰슨 산란(TS), 이온 온도와 흐름 속도를 측정하는 전하 교환 재결합(CER) 분광법이 포함됩니다. 그림에서 특정 찢어짐 불안정 모드 m/n =2/1은 중요성을 강조하기 위해 주황색으로 강조 표시되어 있습니다.

그림 b:가열, 전류 구동 및 액추에이터 제어, 플라즈마 가열, 플라즈마 전류 구동 및 플라즈마 동작 제어 시스템을 보여줍니다.

구체적으로, 여기에는 입자 빔을 주입하고, 자기장을 인가하고, 마이크로파나 무선 주파수를 이용해 가열하고 전류를 구동하는 장비가 포함됩니다. 제어 액추에이터는 m/n = 2/1 티어링 모드와 같은 불안정한 상황을 해결하는 동시에 원하는 조건을 달성하기 위해 플라즈마를 조작하는 데 중요한 역할을 합니다.

그림 c:찢어짐을 방지하기 위한 제어 시스템, 찢어짐 불안정성을 방지하거나 완화하기 위한 제어 시스템이 나와 있습니다.

전처리 단계에서는 진단 시스템의 신호를 프로파일 재구성 및 평형 피팅(EFIT)을 통해 동일한 차원과 공간 해상도의 구조화된 데이터로 처리한 다음, 이를 심층 신경망(DNN) 모델에 입력합니다.

그림 d:딥 뉴럴 네트워크를 기반으로 한 AI 컨트롤러는 전반적인 빔 파워와 플라즈마 형상을 결정합니다.

평형 피팅(EFIT) 알고리즘은 저수준 제어 작업을 처리하여 AI의 제어 명령과 사용자가 미리 설정한 제약 조건(예: 특정 안전 계수(q95) 및 빔 토크 유지)을 충족하도록 자기 코일 전류와 빔 전력을 조정합니다.

강화 학습 알고리즘: 안티 찢김 제어

핵융합로에서 플라즈마의 상태는 다음 그림과 같습니다.

패널 a의 검은색 선은 플라즈마 압력이 외부 가열(중성 입자 빔 등)로 인해 증가함에 따라 결국 안정성 한계에 도달한다는 것을 보여줍니다. 이 한계를 초과하면 찢어짐 불안정성이 발생합니다. 그림 b와 c는 찢어짐 불안정성이 자극되면 플라즈마가 빠르게 파괴되어 실제 작동 시 심각한 결과를 초래할 수 있음을 보여줍니다.

연구진은 심층 신경망과 강화 학습을 기반으로 플라즈마 상태의 변화에 실시간으로 대응하고, 플라즈마의 미래 상태를 예측하고, 제어 동작을 이에 따라 조정할 수 있는 지능형 제어 시스템을 개발했습니다. 이를 통해 토카막 작동이 이상적인 경로를 따르고 높은 압력을 유지하면서도 찢어짐 불안정성을 방지할 수 있습니다.

강화 학습 모델은 보상 함수를 사용하여 이러한 장애물 회피 문제를 구현합니다. 미래의 찢어짐 불안정성을 예측하는 데 사용되는 역학 모델은 OpenAI Gym 라이브러리와 통합되어 훈련 환경으로서 컨트롤러와 상호 작용할 수 있습니다. 찢어짐 방지 컨트롤러는 Keras-RL에 구현된 심층적 결정론적 정책 그래디언트 방법을 사용하여 학습됩니다.

강화 학습의 장점은 허용 가능한 찢어짐을 유지하면서 다중 액추에이터(빔 및 모양) 및 다중 목적(낮은 찢어짐 및 높은 βN) 컨트롤러를 통해 더 높은 βN 영역에 진입할 수 있는 기능입니다.

DIII-D의 눈물 제어: 기존 방식 대 AI 방식

기존 피드백 제어의 한계

기존의 피드백 제어 방법을 통해 정규화된 플라즈마 압력(βN = 2.3)을 유지하려고 시도했습니다. 그러나 실험번호 193273(아래 그림의 검은색 선)에서는 시간이 2.6초에 이르자 큰 인열 불안정 현상이 발생하여 βN이 돌이킬 수 없게 분해되었다.마지막으로, 플라즈마 중단은 3.1초에 발생했습니다.

AI 제어의 장점

실험 번호 193280(아래 그림의 파란색 선)에서는 AI 제어를 사용하여 빔 파워와 세 가지 플라즈마 각도를 적응적으로 제어하여 예측된 찢어짐 정도가 임계값인 0.5를 넘지 않도록 했습니다.

실험 결과는 AI 제어를 통해 추정된 찢어짐 정도가 주어진 임계값 이하로 성공적으로 유지됨을 보여줍니다. 193273 실험과 비교했을 때, 더 낮은 찢어짐 정도를 얻을 수 있습니다.

다양한 찢어짐 임계값에서의 제어 전략

연구자들은 서로 다른 찢어짐 한계점에서 제어 전략을 비교했습니다. 실험 번호 193277(위 그림의 회색 선), 193280(위 그림의 파란색 선) 및 193281(위 그림의 빨간색 선)은 각각 0.2, 0.5 및 0.7의 인열 임계값을 사용한 대조 실험에 해당합니다.

k = 0.5 및 k = 0.7의 경우, 플라즈마는 미리 정해진 평탄 기간이 끝나기 전까지 양호한 안정성을 보인다. 더 높은 임계값(k = 0.7)을 갖는 컨트롤러는 실험 초기 단계(t < 3.5초)에서 βN을 더 공격적으로 증가시키는 경향이 있지만, 이로 인해 플라즈마가 이후 더 불안정한 영역으로 진입하게 됩니다.

k = 0.2인 하한 임계값 컨트롤러는 실험 초기에 너무 보수적이었고 불안정성의 가능성을 지나치게 억제했습니다. t = 5초까지 AI는 매우 낮은 찢어짐 정도(0.2 미만)를 유지하였으나, t = 5.5초에 갑자기 불가피한 불안정성을 보였다.

이와 대조적으로 중간 임계값(k = 0.5)을 갖는 컨트롤러는 플래토 기간이 끝날 때까지 플라즈마 안정성을 유지하고 결국 βN을 다시 회복할 수 있습니다.이는 안정적인 플라즈마를 장시간 유지하려면 최적의 임계값이 필요하다는 것을 시사합니다.

청정 에너지의 성배를 쫓는 것은 여전히 많은 과제에 직면해 있습니다.

제어된 핵융합의 달성은 현대 과학과 공학에서 가장 어려운 목표 중 하나이며, 청정 에너지의 성배로 여겨진다. 인간은 언제 이 성배를 손에 넣을 수 있을까? 그리고 AI는 여기서 어떤 역할을 할 것인가?

이 연구는 AI가 핵융합 반응을 효과적으로 제어할 수 있는 잠재력이 있음을 성공적으로 보여주었습니다. 또한, 본 논문의 제1저자인 재민은 서울대학교 원자력공학과에서 박사학위를 취득하는 동안 강화학습 방법을 혁신적으로 활용하여 KSTAR(한국초전도토카막첨단연구시설)를 위한 새로운 플라즈마 제어 알고리즘을 설계했습니다.

점점 더 많은 연구자들이 핵융합에 대한 심층 연구를 시작하고 이 성배에 단계적으로 다가가고 있지만, 여전히 해결해야 할 기술적 장벽이 많이 있습니다.

1. 플라즈마 안정성:

고온 플라즈마의 안정성을 제어하는 것은 제어된 핵융합을 달성하는 데 있어 핵심 과제 중 하나입니다. 플라즈마는 필요한 핵융합 반응 속도를 유지하기에 충분히 높은 온도와 압력으로 유지되어야 하며, 이를 위해서는 매우 정밀한 자기장 제어 기술이 필요합니다.

2. 중요한 문제:

현재로서는 장기간 고온과 높은 이온 플럭스 노출에도 심각한 성능 저하 없이 견딜 수 있는 소재는 없습니다. 중성자 조사로 인해 재료가 취성이 되고 성능이 저하될 수 있으며, 이는 원자로의 장기적 운영과 경제성에 큰 문제가 됩니다.

3. 에너지 포집 및 변환:

핵융합 반응에서 에너지를 효율적으로 포착하고 이를 전기 에너지로 변환하는 방법 역시 현재 연구의 초점입니다. 고효율 열-전기 변환 시스템은 경제적으로 실행 가능한 핵융합 에너지를 달성하는 데 매우 중요합니다.

4. 핵융합 연료 생산 및 공급:

삼중수소와 중수소는 핵융합 반응을 일으킬 수 있으며, 제어된 핵융합 연료로 사용됩니다. 중수소는 자연에 비교적 풍부하지만, 삼중수소는 극히 드뭅니다. 이는 인공적으로 제조하기가 극히 어려우며 원자로 내부에서 중성자 포획을 통해 생산하거나 다른 방법을 통해 얻어야 합니다. 삼중수소 1kg의 가치는 1억 달러가 넘습니다.

최근 몇 년 동안 AI는 과학 연구에 너무나 많은 놀라움을 안겨주었습니다. 알파폴드가 단백질 구조를 효율적으로 예측한 것부터, 머신 러닝을 기반으로 블랙홀 이미지를 렌더링한 것, 신경망을 기반으로 날씨 변화를 예측한 것까지...