HyperAIHyperAI

Command Palette

Search for a command to run...

PROLA:面向预测性时空天气降尺度的主成分-正交低秩适配

Minseo Yoon Minseong Bae Sojin Lee Hyunwoo J. Kim

摘要

高分辨率天气预测对于解析粗粒度全球预报所遗漏的局地大气模态至关重要。大型预训练天气骨干模型已改善了全球预报,但将其适配为从近期粗粒度状态生成未来高分辨率场仍具挑战性且成本高昂。我们将该设定形式化为预测性时空天气降尺度(PSWD),该任务在预测未来高分辨率轨迹的同时,联合细化空间与时间分辨率。为此,我们提出一个框架,利用共享的预训练骨干、固定数值支架和轻量残差头,将预测分解为空间阶段与时间阶段。针对骨干适配,我们引入 PROLA(PRincipal-Orthogonal Low-rank Adaptation,主成分-正交低秩适配),在预训练权重的主成分方向与其正交补之间分配固定的低秩预算。PROLA 进一步利用梯度信号对秩为 1 的优化器更新进行重缩放,从而在不增加可训练秩的情况下改善适配。PSWD 设定下的实验表明,PROLA 优于具有代表性的低秩适配基线。跨多种数据集和任务的进一步实验支持 PROLA 具有更广泛的适用性,表明其收益不仅限于主要的天气降尺度设定。

一句话总结

韩国科学技术院的研究人员提出 PROLA,一种主成分-正交低秩适配方法,在预训练权重的主成分方向与其正交补之间分配固定的低秩预算,同时利用梯度信号重新缩放 rank-1\mathrm{rank}\text{-}1rank-1 优化器更新,从而改善预测性时空天气降尺度,并在多个数据集和任务上优于代表性低秩适配基线。

核心贡献

  • 本文将预测性时空天气降尺度(PSWD)形式化为从近期粗分辨率全球状态预测未来高分辨率、时间更密集的天气轨迹,并引入一种从空间到时间的支架-校正流水线,使用共享的预训练主干,结合固定数值支架和轻量残差头。
  • 本文提出 PROLA(Principal-Orthogonal Low-rank Adaptation),将固定的低秩预算分配到预训练权重的主成分方向及其正交补之间,并在不增加可训练秩的情况下,利用梯度信号重新缩放 rank-1 优化器更新。
  • 实验表明,在匹配的低秩预算下,PROLA 优于代表性低秩适配基线;在多个数据集和任务上的进一步测试支持其在天气降尺度之外具有更广泛的适用性。

引言

天气建模在很大程度上将预报、空间降尺度和时间降尺度分开处理,但分钟级风功率预报、次小时降水临近预报和航空颠簸指导等应用需要从低分辨率输入预测未来在空间和时间上均更精细的状态。此前工作尚未处理这一联合场景,而将大型天气基础模型适配到更丰富的输出网格受到全参数微调成本的制约。作者将该场景形式化为预测性时空天气降尺度(PSWD),引入围绕共享预训练主干构建的支架-校正流水线,并提出 PROLA,一种参数高效的低秩适配方法,将固定秩预算拆分到主成分分支和正交分支之间,同时利用基于梯度的得分重新缩放优化器更新。在 WeatherBench 2 上的实验表明,PROLA 在匹配预算下优于代表性低秩 PEFT 基线,并缩小了与全参数微调的差距。

方法

作者将预测性时空天气降尺度形式化为一个耦合的时空预测任务,该任务同时需要预报、空间降尺度和时间降尺度。给定粗时间步长的过去和当前低分辨率输入,目标是预测细时间步长的未来高分辨率目标。为应对这一耦合偏移的挑战,作者引入统一的支架-校正流水线。

如下图所示:

支架-校正架构将预测组织为空间阶段和时间阶段,利用主要由预训练或固定组件构建的粗支架,后接可学习校正头。在空间阶段,固定的空间上采样器 UsU_sUs​ 将粗低分辨率输入对齐到目标高分辨率网格。随后,经参数高效微调适配的天气基础模型主干 B\mathcal{B}B 处理这些上采样后的输入,生成最终预报时效的空间支架。空间校正头 CsC_sCs​ 接着向该支架添加可学习残差,得到精化的空间端点。

在时间阶段,预测的空间端点作为时间降尺度的锚点。固定的时间插值器 UtU_tUt​ 在上采样后的当前输入与预测的空间端点之间建立连接,形成各目标预报时效上的时间支架。随后,经预报时效条件化的时间校正头 CtC_tCt​ 添加另一残差,生成最终时空输出。该设计将适配负担集中在主干和轻量校正头上,而固定插值器保留大尺度空间和时间结构。整个架构使用对所有轨迹输出统一施加的变量加权状态损失进行端到端训练,确保两个阶段针对联合轨迹协同适配。

为了在有限参数预算内高效适配大型天气基础模型主干,作者提出 PROLA,一种主成分-正交低秩适配方法。PROLA 解决有限容量在预训练权重空间中的分配方式,以及优化过程中更新如何被重新缩放。

如下图所示:

PROLA 首先通过双分支机制分配固定的低秩预算。总秩被拆分为主成分分支和正交分支。主成分分支从预训练权重矩阵的最大奇异分量初始化,支持与预训练对齐的适配。正交分支专门捕捉所选主成分方向之外的残差校正,确保模型能够学习任务特定的偏离,而不破坏核心预训练知识。

此外,PROLA 引入梯度引导的优化器更新缩放。对于两个分支中的每个 rank-1 分量,该方法基于梯度幅值计算分量信号。这些信号被归一化为分量得分和分支得分,随后用于重新缩放基础优化器提出的原始更新。这种优化器后缩放将更新幅值重新分配给高信号分量,同时保持平均层级别更新尺度,使模型能够将其有限的可训练容量有效导向最关键的任务特定校正。

实验

实验在全局概率性时空天气降尺度、ERA5-to-CERRA 区域降尺度和区域降水预报上评估 PROLA,并与低秩适配基线和全参数微调进行比较。在参数高效方法中,PROLA 始终取得最佳精度和校准,在若干变量上超过全参数微调,同时仅适配极少参数,并改善细尺度谱保真度。消融实验显示,支架-校正流水线同时受益于两个校正头,尤其是时间校正;在主成分分支与正交分支相结合并对更新进行缩放的平衡秩分割下,效果最强。更新几何分析进一步表明,与 PiSSA 相比,PROLA 使用更多正交更新能量,同时在预训练主成分子空间中仍保留有意义的校正。

在 WeatherBench 2 上,PROLA 在所有报告的变量和预报时效上取得了 PEFT 方法中最低的 RMSE 和最高的 ACC。它仅使用 3.92M 个可训练参数,不到全参数微调的 0.4%,却在两个预报时效的 Z500 以及 6h 的 T850 和 T2M 上优于全参数微调。PROLA 在所有报告的变量和预报时效上均取得 PEFT 方法中最佳 RMSE 和 ACC。与 AdaLoRA 相比,PROLA 在 3h 将 Z500 RMSE 降低 5.3%,在 6h 降低 6.7%,其他变量上增益一致但较小。尽管可训练参数不到全参数微调的 0.4%,PROLA 在两个预报时效的 Z500 以及 6h 的 T850 和 T2M 上超过全参数微调。

在 3h 的所有五个报告的 ERA5-to-CERRA 变量上,PROLA 取得最低的纬度加权 RMSE。在低秩基线中,PiSSA 在每个变量上表现最佳,优于 LoRA 和 OPLoRA。Z500 和 T2M 的相对改进最大。PROLA 是唯一在 3h 的所有五个报告降尺度变量上排名第一的方法。PiSSA 在这五个变量上始终优于 LoRA 和 OPLoRA,是该比较中最强的基线。与 PiSSA 相比,PROLA 对 Z500 和 T2M 的 RMSE 降幅最大。

对于 12h 预报时效的 6h 累积降水量,PROLA 在所比较的参数高效微调方法中取得最佳性能,具有最低 SEEPS、最低 RMSE 和最高 ACC。与 OPLoRA 相比,PROLA 改善了所有三项指标,表明降水类别和累积量预测更好,并且与空间异常型更一致。这些收益与 PROLA 在区域天气任务上优于低秩基线一致。在 12h 预报时效,PROLA 在所有比较方法中误差最低、技巧最高。与 OPLoRA 相比,PROLA 改善 SEEPS、RMSE 和 ACC,反映更好的降水类别预测、累积量预测和空间型吻合。

在 3h 和 6h 预报时效的报告变量上,使用 PROLA 直接预测的纬度加权 RMSE 低于 LoRA、PiSSA 和 OPLoRA。完整的支架-校正流水线进一步提高了相对于 PROLA 直接预测的精度,而去除时间校正头会使 3h Z500 RMSE 急剧恶化,去除两个校正头则表明未经校正的支架不足。去除空间校正的影响要小得多,说明时间校正是中间预报时效改进的主要驱动因素。使用 PROLA 直接预测在两个预报时效的所有报告变量上均优于 LoRA、PiSSA 和 OPLoRA。完整的支架-校正流水线将 3h Z500 RMSE 从 PROLA 直接预测的 53.13 降至 50.30。在 3h,时间校正比空间校正更重要:去除时间头会将 Z500 RMSE 提高到 84.53,而去除空间头则为 53.35。去除两个校正头会将 3h Z500 RMSE 提高到 87.73,表明只有支架是不够的。

消融实验显示,与任一单独分支相比,将主成分分支和正交分支结合可提高预报技巧,更新缩放带来进一步收益。启用缩放后,两个分支之间的平衡秩分割在两个预报时效的所有变量上表现最佳。结合分支得分和分量得分的完整 PROLA 在评估变量上取得最低 RMSE,而去除任一得分都会降低性能。与任一单独分支相比,将主成分分支和正交分支结合可降低 3h Z500 RMSE,更新缩放同时改善单分支和组合配置。当启用缩放时,在所有五个变量上,平衡秩分配在两个预报时效 3h 和 6h 均优于不平衡分配。与完整 PROLA 配置相比,仅使用分支得分或仅使用分量得分会使 6h Z500 RMSE 恶化,而完整配置在各变量上取得最低误差。

实验将 PROLA 作为参数高效微调方法在全局 WeatherBench2 预报、ERA5-to-CERRA 区域降尺度、12h 降水预测及其支架-校正和低秩设计的消融实验中进行了评估。在这些设置中,PROLA 始终优于 LoRA、PiSSA、OPLoRA 和 AdaLoRA 基线,同时仅使用不到全参数微调参数量的 0.4%,并且能在若干变量和预报时效上超过全参数微调。校正流水线主要受益于时间校正而非空间校正,消融实验确认,主成分分支和正交分支的结合、更新缩放、平衡秩分配以及分支得分和分量得分共同促成了最佳预报技巧。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供