Earthformer: 지구 시스템 예측을 위한 시공간 트랜스포머 탐구

전통적으로 지구 시스템(예: 날씨와 기후) 예측은 복잡한 물리 모델을 사용한 수치 시뮬레이션에 의존하여, 이로 인해 계산 비용이 많이 들고 전문 지식이 필요합니다. 지난 10년 동안 공간-시간 지구 관측 데이터의 급속한 증가로 인해 딥 러닝(DL)을 적용하는 데이터 주도형 모델이 다양한 지구 시스템 예측 작업에서 뛰어난 잠재력을 보여주고 있습니다. 트랜스포머는 다른 분야에서 광범위한 성공을 거두었음에도 불구하고, 이 영역에서는 그 채택이 제한적입니다. 본 논문에서는 지구 시스템 예측을 위한 공간-시간 트랜스포머인 Earthformer를 제안합니다. Earthformer는 일반적이면서 유연하고 효율적인 공간-시간 주의 블록인 Cuboid Attention을 기반으로 합니다. 이 아이디어는 데이터를 큐브로 분해하고 병렬로 큐브 단위의 자기 주의(self-attention)를 적용하는 것입니다. 이러한 큐브들은 전역 벡터들의 집합과 연결됩니다. 우리는 MovingMNIST 데이터셋과 새로 제안된 혼돈 상태의 N체계 MNIST 데이터셋에서 실험을 수행하여 큐브 주의(cuboid attention)의 효과성을 검증하고 Earthformer의 최적 설계를 알아내기 위해 노력했습니다. 강수량 단기예측 및 엘니뇨/남방진동(ENSO) 예측에 관한 두 개의 실제 벤치마크에서 수행된 실험 결과, Earthformer가 최신 기술 수준(state-of-the-art)의 성능을 달성함을 보였습니다. 코드는 다음 링크에서 제공됩니다: https://github.com/amazon-science/earth-forecasting-transformer .