2022 年常被业内人士视为 AI 赋能气象预测的元年。
从这一年开始,AI 在气象领域的应用呈现爆发式增长,NVIDIA DLWP 、 Google MetNet-2 等一系列创新方法及模型如雨后春笋般涌现,国内外「首次」、「第一」、「开创性」成果频出,尤其是在提升预报技巧方面,AI 更是展现出惊人的成效,短短几月便实现了数值预报数十年才能达成的目标、甚至更优。
要知道,数值预报诞生至今已有百年历史,曾经推动了大气科学近半个世纪的迅猛发展,是现代天气预报的主流模型。部分场景下,数值预报的精准度被 AI 领先,也不禁引起了业内人士的思考和疑问:这一历经百年验证的经典方法,是否即将被 AI 追赶、超越甚至完全取代?
对此,中国气象局上海台风研究所副所长黄伟认为:「在可预见的将来,AI 气象预报和传统数值预报的有机结合,才是预报技术取得突破的最有效途径。」
确实如此,数值预报和 AI 存在天然的耦合关系,数值预报可以通过物理数学理论提供可解释的预报结果,AI 可以利用知识经验提高预报计算速度和精度,两者互补或许才是未来气象预报发展的关键道路。
我们试图通过梳理拆解数值预报的前世今生,与颇具代表性的前沿人工智能方式方法,帮读者由点及面了解二者之间的复杂关系和潜在可能。
事实上,在数值预报出现之前,基于天气图的外推预报才是当时气象预报的主流手段。
在底图上填写各城市、测站位置以及主要河流、湖泊、山脉等地理标志,将世界各地同一时间的气象要素绘制在这张图上,形成天气图。通过分析天气图,根据气象演变在短时间内具有连续性原则,把当前的天气趋势外延一段时间,就能得出预报结果。
基于天气图的外推预报不能反映大气内部的运动变化规律,其预报水平受到很大限制。为了得到更精准的天气预报,气象学家们尝试引入数学物理方法,研究天气演变的物理规律,发展出一个建立在定量描述基础上的预报技术,这就是后来的数值天气预报。
大气的运动轨迹遵循流体力学基本理论。挪威气象学家皮叶克尼斯认为,「大气的未来状态,原则上由大气的初始状态、大气运动方程、质量守恒方程、状态方程、热力学方程等共同决定的」,因此人们尝试将这些影响因素组成一个方程组来反应大气运动状态,把气象观测网提供的大气实时气象要素作为方程组的输入,求解方程随时间的变量值,进而得到大气的未来状态——这就是数值天气预报的基本思想。
1916-1919 年,英国理查德森博士进行了第一次数值预报的实际计算,但这次试验非常失败。事后他总结,「这种预报的计算量非常大,即使有手工计算器的辅助,也难以在天气到来之前实现预报。」虽然本次尝试效果不佳,但他向外界展示了数值天气预报的基本计算过程、步骤、面临的问题等,为后人提供了很好的学习经验。
1946 年,世界上第一台电子计算机 ENIAC 问世,其计算速度可达每秒 5,000 次加法运算。从那时起,被誉为「计算机之父」的冯·诺依曼身边就总是围绕着来自世界各地的优秀气象学家们,他们的目标是,用刚刚诞生的电子计算机做出准确的数值天气预报。
1950 年,美国科学家查尼、费也托付、冯·诺伊曼等基于前人经验,第一次在 ENIAC 上成功算出了 500 百帕天气形势的 24 小时预报,这是数值天气预报的首次成功,也是一个划时代的标志。自此,围绕数值天气预报的研究迎来了蓬勃发展时期,无数国内外科学家、机构纷纷投身该领域发展。
1975 年,欧洲中期天气预报中心 (ECMWF) 顺势成立,并在成立的第 4 年就发布中期数值天气预报产品,逐步建立起在世界数值天气预报领域的领先地位。现如今,ECMWF 拥有目前世界上最先进的数值天气预报系统,携手 34 个成员国、合作成员国的国家气象和水文机构等,设计新的服务产品、评估和诊断预报质量。据了解,成员国的气象机构享有特权,能够每天实时收到中心做出的数值天气预报产品和服务,这种服务还通过商业化渠道,提供给 30 多个国家的客户。
然而,中国并不是 ECMWF 的成员国。
我国数值预报模式在发展初期曾面临一道选择题,是引进 ECMWF 最先进的数值预报,还是自主研发国产数值预报?直接引入省时省力,但 ECMWF 的预报技术核心,四维变分资料同化技术从不向他国公开。「为了不被欧美国家卡脖子,中国需要自己掌握核心技术」。中国气象局地球系统数值预报中心全球数值天气预报系统工程技术团队成员孙健表示。
* 三维变分资料同化:多个时刻的大气状态数据,如温度、湿度、气压、风速等,被假定为同一时刻,通过数值预报模式运算,得出未来某一时刻的天气状态。
* 四维变分资料同化:在三维变分资料同化的基础上,加入时间维度信息,把多个时刻的大气状态数据联系起来,找到数据间的变化关系,再通过模式运算推算未来天气。
1995 年国家气候中心成立,历经十年研发,国家气候中心在 2005 年成功推出了 NCC 气候预测模式系统,作为我国第一代短期气候预测动力气候模式业务系统,它迅速投入业务运行,在国家的防灾减灾及气象保障服务中发挥了不可估量的作用。
通过不断的自主创新与突破,我国第二代、第三代短期气候模式预测业务系统相继问世,成为现代气候业务系统中不可或缺的组成部分。为进一步推动气象预报技术的发展,中国气象局组建数值预报创新基地、成立数值预报中心,在四维变分同化、模式动力框架、卫星资料同化技术等方面实现重大突破。
2021 年,我国数值天气预报系统再获国家科学技术进步奖,成为行业发展的又一个里程碑。 2024 年 1 月,中国气象局报道,其自主研发的全球同化预报系统 (CMA-GFS) V4.0 正式运行。此次升级后,北半球可用预报天数突破 8 天,全球预报空间分辨率从 25 公里提升到 12.5 公里,中国同化技术取得了国际领先成就,我国成为国际上为数不多自主研发全球四维变分同化系统的国家之一。
尽管数值预报在过去数十年间取得了显著进步,面对卫星遥感、雷达观测、飞机观测、船舶观测、海上浮标等来源的海量观测数据,即便是当今的超级计算机,也需要几个小时的模拟推导才能完成提前 3 天的气象预报,计算资源在处理庞大信息量时面临很大挑战。
科技的浪潮从未停歇。随着 AI 的兴起,这个顶着「专为处理大数据而生」的技术,可以给气象预测带来更快的计算速度、更高的预测精度、更低的花费成本,受到了人们的广泛关注。
基于机器学习的天气预报可以根据历史气象数据(包括观测和分析数据)来训练预测模型,这种模型能够识别并学习数据集中不易用显式方程表示的因素,进而提高预测准确性。
然而,机器学习模型在向更高精准度预测跃进时,仍存在诸多挑战,主要有迭代误差累积、高分辨率数据稀疏、极端天气预测平滑化这 3 大难题。近年来,从学术界到产业界,也围绕这 3 大挑战展开攻坚,推动了 AI 气象预测在天气预报精度与速度上的双重提升。
在解决迭代误差累积方面,2023 年 7 月,华为云研究人员推出了全球 AI 气象预报大模型 Pangu-Weather 。该模型是首个预测精度超过传统数值预报模式的 AI 方法,预测速度可提升 10,000 倍以上,模型水平空间分辨率达到 0.25°×0.25° ,时间分辨率为 1 小时,覆盖 13 层垂直高度,可精准预测细粒度气象特征,秒级实现对位势、湿度、风速、温度、海平面气压等气象结果的预测。
Pangu-Weather 解决了 AI 气象预报模型一直以来存在的精度不足问题:由于大气现象本质上是 3D 的,基于 2D 神经网络的 AI 气象预报模型在处理不均匀的 3D 气象数据时存在一定局限;此外,数据驱动 AI 方法缺少数学物理机理约束,在长时间的预报迭代过程中会不断积累迭代误差。
对此,Pangu 团队创造性地提出了适应地球坐标系统的三维神经网络 (3D Earth-Specific Transformer),并用层次化时域聚合策略来减少预报迭代次数,进而减少迭代误差。该研究以「Accurate medium-range global weather forecasting with 3D neural networks」为题发表在 Nature 上。
论文地址:https://www.nature.com/articles/s41586-023-06185-3
尽管 Pangu-Weather 已经实现 0.25° 高分辨率的预测,但很多气象学家仍希望能够获得更高分辨率的气象预测,带来更精细的预报结果。
在解决高分辨率数据稀疏问题上,2024 年 3 月,上海人工智能实验室联合国家气象中心、国家气象信息中心、南京信息工程大学、香港科技大学等机构发布全球高分辨率 AI 气象预报大模型 FengWu-GHR 。该模型是首个将预报分辨率提升至 0.09° (9km*9km) 的 AI 气象大模型,可对中期天气进行 10 公里级的建模与预报。较此前的 0.25°,范围精确率超过 7 倍,有效预报时长由 10.75 天提升至 11.25 天。
该研究以「FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather Forecasting」为题,发表在 arXiv 上。
论文地址:https://arxiv.org/abs/2402.00059
受限于过去的观测技术,高分辨率数据存在稀缺。研究人员创新性地提出了空间一致性映射、解耦组合迁移学习技术,通过学习低分辨率再分析数据上预训练模型的先验知识,并结合少量的高分辨率实时运行分析数据,增加对区域大气活动的二次建模,破解高分辨率数据稀缺难题。
「Pangu-Weather 曾在每个预测时间点使用单独的训练模型来解决误差累积问题,这种方法很有效,但其训练成本非常高昂。我们在每一步的预测过程增加了 LoRA 模块,并结合少量参数对每一步进行训练,这相当于每一步预测都有了新的模型,但只需要引用少量参数,显著减少了计算成本。」上海人工智能实验室青年研究员苏锐表示。
「此外,极端天气事件的数据同样很少,数据驱动的 AI 模型在预测极端天气时会出现结果平滑化趋势,如何提升极端天气的预测精度也是未来需要解决的一个难题。」
在解决极端天气预测平滑化问题上,2024 年 5 月,微软发布了首个大规模大气基础模型 Aurora 。该模型在超一百万小时的多样化天气和气候模拟中训练,通过以 0.1°(赤道处约 11 公里)的高空间分辨率运行,可以捕捉大气运动的复杂细节,不到 1 分钟即可精准实现 10 天的高分辨率天气预报,计算速度比最先进的数值预报系统 IFS 还要快 5,000 倍。
更令人惊喜的是,该模型可以提升对极端天气的预测能力,比如对风暴「夏兰」等恶劣天气事件的急剧恶化进行预测。该研究以「Aurora: A Foundation Model of the Atmosphere」为题,发表在 arXiv 上。
论文地址:https://http://arxiv.org/abs/2405.13063
Aurora 的设计目标是处理异构的黄金标准输入,并以不同的分辨率和保真度生成预测。该模型由一个灵活的 3D Swin Transformer 和基于 Perceiver 的编码器和解码器组成,能够处理和预测跨不同空间和压力层次的大气变量。
通过在海量且多样的数据集上进行预训练,再针对特定任务进行微调,Aurora 可以捕捉大气的复杂模式和结构,即使在诸如极端天气等有限的训练数据下对特定任务进行微调,依然有出色的预测能力。
除了前面提及的 3 项成果外,英伟达的 FourCastNet 、谷歌 DeepMind 的 GraphCast 、阿里巴巴的 SwinVRNN 、清华大学联合中国气象局发布的 NowcastNet 、复旦大学的伏羲等,众多 AI 气象大模型的出现正不断拓展着 AI 气象预测的边界。
值得一提的是,为了进一步加快人工智能在气象业务领域应用,2024 年 5 月,我国气象局发布了《人工智能气象大模型训练专题数据目录》,该目录公开了 6 大数据资源/产品,中国气象局全球大气再分析产品 1.5 版本、中国气象局全球同化预报系统 (CMA-GFS) 全球天气模式产品 4.0 版本、中国气象局全球海洋气象实况分析产品、全球热带气旋数据集、全球地面整编数据集、全球高空整编数据集等。此举旨在促进社会各界便捷获取数据资源,以支持并加速其在人工智能技术应用、特别是气象领域的研发与创新。
可以说,无论从技术还是政策层面,AI 气象预测都处于快速发展的黄金时期,得到了「政产学研」的高度关注。
人工智能作为当下全领域的技术担当和科技宠儿,被视为足以颠覆大气科学领域的新生力量,然而 AI 的可解释性和可信度仍然存在欠缺。「黑盒」式 AI 模型直接从海量数据中获取信息,不需要遵守物理定律,这导致气象学家无法理解 AI 做出预报的动力依据。
聚焦传统的数值预报方法,它基于气象动力理论,通过数学表达和偏微分方程积分,再以流体力学编程技巧实现,能够提供高度可信和可解释的预报结果,对 AI 方法而言是一个十分必要的补充。
事实上,我国气象学家正积极投身于 AI 与传统数值预报融合的前沿研究。 2024 年 5 月,中国气象科学研究院灾害天气国家重点实验室研究员徐洪雄团队,发表了一项开创性研究成果,他们成功将 Pangu-weather 天气 AI 预测大模型与区域数值预报模式 WRF-ARW 结合,这是 AI 天气模型在驱动区域数值预报中的首次应用,不仅捕捉到了极端天气事件的关键物理过程,还将 400 毫米降水量的有效预测期延长至 8.5 天,显著提升了预报技巧。
该研究以「Improvement of disastrous extreme precipitation forecasting in North China by Pangu-weather AI-driven regional WRF model」为题,发表在 Environmental Research Letters 上。
论文链接:
https://iopscience.iop.org/article/10.1088/1748-9326/ad41f0
随着气象预测的进一步发展,让 AI 与传统数值预报结合正在成为大多专家们的共识。 AI 或许难以彻底成为知阴晴雨雪、掌冷暖变化的新主导,而历经百年验证的经典数值预报方法,在当代极端天气频发、精准预测困难重重的大背景下,也需要与时俱进、不断迭代。唯有新旧方法相辅相成,才有望在未知挑战中,孵化、衍生出一种更可信更高效的复合方法,这或许才是未来气象预测的最佳途径。
HyperAI 超神经持续追踪 AI4S 前沿成果,开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,AI+气象学专题汇总如下:
https://github.com/hyperai/awesome-ai4s
参考资料:
https://iap.cas.cn/gb/kxcb/kpwz/202004/t20200417_5551357.html
https://www.metax-tech.com/en/ndetail/12503.html
http://paper.people.com.cn/rmzk/html/2024-04/29/content_26056178.htm
https://www.eurekalert.org/news-releases/1007746